נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
מחולל תנועה באמצעות GAN וTRANSFORMER למטרות השוואה ותיוג של תנועות אנושיות
A motion generator using GAN and Transformer for the purposes of comparing and tagging human movements
תקציר בעיברית
במקרים רבים שיקום של פציעות גופניות דורש טיפול פיזיותרפיה בליווי צמוד. מספר גורמים, מעלים את הצורך בטיפולי פיזיותרפיה מרחוק שיעשו באופן מבוקר ומדויק. מטרת הפרויקט היא הרחבה מאגר קטעי וידאו של שישה תרגילי פיזיותרפיה אשר הוסרטו על ידי מטפלים וסטודנטים, באמצעות שימוש במחולל תנועה מלאכותי של מודל שלד האדם. מחולל התנועה המלאכותי מבוסס על רשת GAN - Generative Adversarial Network משולבתTransformer time series, ליצור דוגמאות חדשות על ידי למידה ממאגר הסרטונים. כל סרטון מועבר בתוכנה לזיהוי מנח שלד האדם בדיוק גבוה, בשם OpenPose. עבור כל תרגיל, ניתחנו את נקודות המפתח המשמעותיות ומאפייניהם המרחביות באמצעות התמרת פורייה ובהתאם אימנו את הרשת. במוצא הרשת מתקבלים אותות מרחבים סינטטיים לכל נקודת מפתח דומיננטית, אשר דומות לתנועות אנושיות בדיוק יחסית גבוה, עבור תרגילים מסוימים. מילות מפתח: למידה עמוקה, TTS-GAN, OpenPose, ניתוח וידאו, FFT, פיזיותרפיה, מחולל תנועה.
תקציר באנגלית
A large number of rehabilitation of physical injuries require physical therapy treatment with close supervision. Several factors raise the need for remote physical therapy treatments that will be done in a controlled and precise manner. The purpose of the project is to expand the database of video clips of six physical therapy exercises that were filmed on doctors and students, using an artificial movement generator of a human model. The artificial motion generator is based on a GAN - Generative Adversarial Network combined with a Transformer time series, to generate new examples by learning from the video database. Each video is transmitted in software to detect the pose of a person with high accuracy, called OpenPose. For each exercise, we analyzed the dominant key points and their spatial characteristics using FFT and trained the network accordingly. At the output of the network, synthetic spatial signals are obtained for each dominant key point, which resembles human movements with relatively high precision, for certain exercises. Keywords: Deep learning, TTS-GAN, OpenPose, Video analysis, FFT, Physiotherapy, Motion generator.