נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
זיהוי ואנליזה של צלילי צעצועים במהלך אבחון האוטיזם אצל ילדים
Detection and Analysis of Toy Sounds in Children's Autism Diagnostic Behavioral Test
תקציר בעיברית
אוטיזם (ASD) הינה הפרעה התפתחותית נירולוגית המתאפיינת בקשיים שונים בתחום החברתי, התקשורתי ובקשרים בין אישיים. בילדים, מבחן ה-ADOS הינו הכלי המקובל ביותר לאבחון אוטיזם. במבחן זה, קלינאים נעזרים במספר מטלות חברתיות ותקשורתיות על מנת ליצור ציון משוקלל של חומרת האוטיזם. בפרויקט זה נרצה לזהות באופן אוטומטי אירועי משחק בצעצועים ולבצע אנליזה על אירועים אלו על מנת לחפש קשר בין אופן המשחק לבין חומרת האוטיזם. בסיס נתונים המכיל כ-17 הקלטות ADOS אשר תויג באופן ידני נבנה, ותוכננה מערכת למידה עמוקה מסוג CNN בכדי לזהות את צלילי הצעצועים. תוצאות מראות כי זיהוי צלילי צעצועים באמצעות מערכת אוטומטית הינו מעשה אפשרי עם מדדי Recall ו-Precision של 0.770 ו- 0.812 בהתאמה. בנוסף, מאפיינים שחולצו מאופן המשחק של הילדים בצעצועים כמו יחס סך זמן המשחק בצעצועים לסך זמן בו הילד הנבחן מדבר נמצאו להיות קורלטיביים עם חומרת האוטיזם. פרויקט זה עשוי לספק תובנות חשובות לגבי התנהגותם של ילדים במהלך אבחון ADOS, לבסוף באבחון של ASD.
תקציר באנגלית
Autism Spectrum Disorder (ASD) is a condition that affects behavior, social interaction, and communication. In children, the Autism Diagnostic Observation Schedule (ADOS) is a widely used tool for diagnosing ASD through observations of the child under behavioral tests. In this project we aim to automatically detect toy sounds in audio recordings of the ADOS assessments. We analyzed the toy instances to search for a connection between form of toy play and ASD severity. A dataset of 17 manually annotated ADOS recordings was organized, and a Convolutional Neural Network (CNN) was trained to detect toy sounds in the recordings. Results show that detecting toy sounds is achievable with an overall recall and precision of 0.770 and 0.812 respectively. In addition, features such as the ratio of total time of toy play per total time of child speech were found to be correlated to the ADOS score. This project may provide valuable insights into the behavior of children during the ADOS examination, and ultimately in the diagnosis of ASD.