נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
ניתוח תנועות אנושיות מבוסס TSSCI ורשתות נוירונים
The Use of TSSCI and NN for Body Pose Assessment
תקציר בעיברית
OpenPose ו- MediaPipe הם כלי תוכנה נפוצים ברפואה מרחוק שמטרתם לחלץ שלדי גוף אדם ממסגרות וידאו לצורך טיפול בפציעות. מטרתנו בפרויקט זה היא לפתח מודל למידה עמוקה אשר מתייג ומנתח בדיוק גבוה את תנועת האדם בזמן שהוא מבצע תנועות מסוימות, כך נוכל להעריך את ביצועיו ולהעניק לו ציון. בפרויקט שלנו אנו משתמשים ב- Autoencoder שמטרתו היא המרת שלדים מ- MediaPipe ל- OpenPose, בנוסף, מיישמים רשת תאומים סיאמית בשביל להעריך את ביצועי המטופל בהשוואה למטפל. השתמשנו ברשת Efficient-net B7 בשני המודלים, כאשר ביצענו העברת לימוד (transfer learning). כמו כן, בשביל להתגבר על המחסור בבסיס המידע שעליו אנחנו מאמנים את הרשת, השתמשנו בגישת ה- TSSCI, אשר ממפה שלד אדם בוידאו לתמונה. המודל שלנו הוביל לתוצאות מדויקות למרות המוגבלות בכמות המידע שיש לנו לצורך אימון רשתות הנוירונים של בעיית למידה עמוקה. הפרויקט שלנו מראה את הפוטנציאל של השימוש במודלים של למידה עמוקה, ספציפית השימוש ב- Efficient-net B7 ו- Autoencoder, לצורך ניתוח והערכת תנועות אנושיות למטרות טיפוליות ברפואה מרחוק. מילות מפתח: למידה עמוקה, Efficient-Net B7, Autoencoder, רשת נוירונים סיאמית, TSSI, תיוג תנועות.
תקציר באנגלית
OOpenPose and MediaPipe are commonly employed software tools in remote medicine to extract human body skeletons from video frames for injury treatment purposes. The aim of our project is to develop a deep learning model that accurately segments and evaluates human body movements during specific exercises, aiding in the assessment of a patient's performance. In our project, we utilized an autoencoder to convert the skeletons from MediaPipe to OpenPose, while a twin Siamese network was employed to score the patient's exercise in comparison to the therapist. We applied transfer learning with Efficient-net B7 for both networks, overcoming limited training data by leveraging the TSSCI approach, mapping video skeletons to images for data analysis. The model yielded excellent results, demonstrating high accuracy despite the limited training data for the deep learning problem. Our project demonstrated the potential of deep learning models, specifically using Efficient-Net B7 and Autoencoders, for accurately segmenting and evaluating human movements in remote medicine applications. Key words: Deep Learning, Efficient-Net B7, Autoencoder, Siamese Neural Network (SNN), Tree Structure Skeleton Image (TSSI), Movement Segmentation.