נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
חקר הבעות פנים ביחסים רומנטיים תוך שימוש בכלי לימוד מכונה
Studying facial expressions in romantic relationships using machine learning tools
תקציר בעיברית
פרויקט זה עוסק בחקר הבעות פנים בקרב זוגות נשואים ו/או ידועים בציבור על ידי שימוש בכלי לימוד מכונה. במסגרת המחקר, מגיעים זוגות מהקהילה והשיח ביניהם מתועד בוידאו. במסגרת התיעוד, כל משתתף משתף את בן הזוג בחוויות חיוביות או שליליות בקשר הזוגי שלהם. הפרויקט משתמש בנתונים הממוחשבים של קריאת הבעות הפנים על מנת לזהות תבניות או דפוסים החוזרים על עצמם בקרב בני הזוג, המעידים על קירבה או ריחוק ביניהם. הפרויקט נועד לשפר את תהליכי העבודה של מטפלים זוגיים בפרט ומטפלים ככלל. זאת על ידי מציאת התאמה בין מעורבות המטפל לתבניות הבעות הפנים בקרב בני הזוג במהלך הטיפול. בעזרת מציאת תבניות אלו, המטפל יוכל לאפיין את התנהגות הזוג וכך יוכל להתאים להם את הטיפול האפקטיבי ביותר. הפרויקט מחולק לשני חלקים עיקריים: החלק הראשון עוסק בפענוח הסרטונים של בני הזוג כאשר אורכו של כל קובץ הוא כ6 דקות. הפענוח ממיר את קובץ הסרטון לקובץ אקסל עם נתונים טבלאיים בעזרת כלי לימוד מכונה וחבילתPyfeat של Python. החלק השני של הפרויקט עוסק בניתוח הנתונים ומציאת המודלים המתאימים ביותר לחיזוי תחושת הקרבה והריחוק של בני הזוג. במהלך הפרויקט התנסנו וחקרנו את עולם לימוד המכונה, למדנו להמיר קבצים על פי מודלים שונים על מנת שיציגו לנו את התוצאות ממשתנים שונים להערכה וזיהוי הרגשות בצורה הטובה ביותר ועל פי דרישות המחקר של המנחה. לאחר המרת הסרטונים, ביצענו תהליך של עיבוד מקדים לניתוח הנתונים. בנוסף, איחדנו בין פלטי הרגשות שקיבלנו לבין נתונים שהתקבלו מבני הזוג על ידי תזוזת ג'ויסטיק בעת צפיה בסרטונים המעידה על תחושת הקרבה והריחוק שלהם. משתנה זה הוא המשתנה התלוי שלנו, אותו נרצה לחזות באמצעות המודלים. לאחר מכן, ביצענו ניתוח מודלים כאשר פעם אחת השתמשנו ברגש אחד בלבד על מנת לחזות את המשתנה התלוי – רגש השמחה ובפעם השנייה בחנו את הממצאים על שלושה משתנים בלתי תלויים בשימוש של שלושה רגשות- שמחה, כעס והפתעה. במהלך המחקר שלנו חקרנו 5 מודלים עיקריים של למידת מכונה על מנת למצוא את החיזוי המדויק ביותר, נחקרו מודלים של למידה מונחית ולמידה לא-מונחית. בין המודלים שחקרנו נכללו Decision Tree , Random Forest, K fold, Kmeans Neural Networks. מצאנו כי המודל המתאים ביותר לחיזוי הקרבה והריחוק בין בני הזוג הוא מודל Kmeans - מודל זה מצליח לסווג בצורה הטובה ביותר את הקרבה והריחוק בהתאם לרמת הרגש המתקבלת עם אחוז דיוק גבוה מאוד. בנוסף, הסקנו כי סוג הלמידה בה התקבלו התוצאות הטובות ביותר היא למידת לא מונחית ובפרט שימוש באלגוריתמי חיזוי שעובדים לפי סיווג. כלומר, לפרויקט זה, חלוקה של מאפיינים למספר קבוצות בצורה לא מונחית, יגדירו בצורה הטובה ביותר את הקרבה והרחוק בין בני הזוג. לסיכום, על פי הממצאים שקיבלנו, ניתן לומר כי ישנו קשר בין תבניות מסוימות של הבעות פנים בקרב בני זוג לבין תחושת הקרבה ביניהם. את תבניות אלו ניתן למצוא ולזקק בעזרת שיטות שונות של למידה לא-מונחית. על פי הממצאים שלנו, אלגוריתמי סיווג הם המתאימים ביותר לחיזוי הקרבה והריחוק בקרב בני זוג בהתבסס על ניתוח הבעות הפנים שלהם.
תקציר באנגלית
Studying facial expressions in romantic relationships using machine learning tools