נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
זיהוי רגשות באמצעות עוקב עיניים ולמידת מכונה
Emotion Recognition Using Eye-Tracking & ML
תקציר בעיברית
פרויקט זה הינו פרויקט המשך לפיילוט שנעשה בניסיון לחזות רגשות ע"י מעקב אחר שינויי האישון. בפרויקט נמשיך את הנעשה, נגדיל את מאגר הנסיינים ונוסיף את הפרמטרים סקאדת האישון, מגדר ועוצמת הרגש שאינם נבדקו בפיילוט. מטרתנו לבנות מערכת למידת מכונה של סדרות זמניות. בהינתן דגימות קוטר האישון לאורך זמן, המרחק שהאישון עובר ומגדר, יהיה ניתן לחזות מה הרגש שהאדם חווה ומרגיש. בפרויקט ערכנו ניסוי מתנדבים במהלכו נחשף כל משתתף למספר סרטונים, במהלכם הוקלטו האישונים שלו ובסוף כל סרטון נדרש היה למלא שאלון קצר. השתמשנו בתוצאות עוקב העיניים ובתשובות השאלון כמאגר נתונים. הניתוח האיכותי של הנתונים אישש את תוצאת הפיילוט, בו נמצא כי ברגש עם עוררות גבוהה תגובת האישונים תהיה מהירה וקוטר האישון יהיה רחב יותר מרגש עם עוררות נמוכה. לסיום, בדקנו מספר אלגוריתמים ובחרנו את זה עם סיכויי ההצלחה הטובים ביותר, ובכך בנינו מערכת למידת מכונה שחוזה את רגש האדם.
תקציר באנגלית
This project is a continuation project that will deal with the effort to predict emotions by tracking the diameter and the saccade of the subject's pupil. We will continue what has been done, increase the hoard of experimenters, and add new parameters that weren't examined before. Our goal is to design a system based on machine learning that predicts the emotion that the person is currently experiencing by pupil tracking. In the project, we collected the database by experimenting. Each participant was exposed to several videos in the experiment, and their pupils were recorded. The participant filled out a short questionnaire about their emotions during the video. In the qualitative analysis of the results, we confirmed the pilot experiment that for emotions with high arousal, the pupil reaction was faster, and the pupil diameter was narrower. We built a machine learning system based on time series classification that predicts the emotion the person is experiencing with the best success rate from several models.