נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
זיהוי מחוות יד מתוך תמונות אירועים תלת ממדיות
Hand gesture classification from 3D event images
תקציר בעיברית
מצלמות אירועים הן חיישנים המגיבים לשינויים בעוצמת הבהירות, יוצרות זרם אירועים שבו כל אירוע בודד (x, y, t) תואם לשינוי במרחב ובזמן. בניגוד למצלמות רגילות מצלמות אירועים יכולות לתפוס תנועות מהירות יותר ובכך לזהות מחוות מהירות. מטרת הפרוייקט היא לסווג בהצלחה תנועות ידיים תלת מימדיות המיוצגות כאירועי זמן-מרחב באמצעות מצלמת האירועים DAVIS 346 לאחר ששילבנו בהם עומק באמצעות עדשת הסטריאו Loreo-3D-Lens. להשיג מטרה זו דימינו יצירת תמונות אירועים תלת מימדיות המתקבלות על ידי מצלמת אירועים DAVIS 346 באמצעות מצלמה נייחת בודדת עם עדשה מפצלת (Loreo-3D-Lens) ועל ידי סקריפט פייתון המרנו סרטונים אלו לאירועים. ייצרנו Database הכולל קבצי אימון ומבחן של 5 תנועות ידיים שונות ואימנו רשת נוירונים המבוססת על ארכיטקטורת PointNet על מנת לסווג תנועות אלו. המודל שלנו הגיע ל93% דיוק לאחר 100 אפוקים, מהשוואה לפרוייקט קודם בנושא ניתן להסיק מכך שתוספת העומק שניתנה על ידי העדשה הסטראוסקופית תרמה רבות לזיהוי נכון.
תקציר באנגלית
Event cameras are sensors responsive to brightness changes, generate a continuous stream of events denoted as (x, y, t), representing spatial and temporal alterations. Unlike regular cameras, these devices excel in capturing swift motions, enabling swift gesture recognition. The objective of this project was to classify three-dimensional hand movements, represented as time-space events, utilizing the DAVIS 346 event camera. To incorporate depth information, we integrated the stereo Loreo-3D-Lens into the camera. To achieve this, we simulated the creation of 3D event images by employing a stationary camera equipped with a splitting lens (Loreo-3D-Lens). Subsequently, using a Python script, we converted these videos into event sequences. As a result, we assembled a comprehensive database comprising training and test files encompassing five distinct hand movements. Utilizing the PointNet architecture, we trained a neural network for the purpose of movement classification. Our model achieved 93% accuracy after 100 epochs. By comparing our results to a prior project, it became evident that the additional depth information provided by the stereoscopic lens played a significant role in enhancing precise identification.