נושא הפרוייקט

מספר פרוייקט מחלקה שמות סטודנטים אימייל שמות מנחים

מערכת זיהוי דיבור אקולית להערכת חומרת אוטיזם

Echolalic speech detection system for autism severity estimation

תקציר בעיברית

הפרעת הספקטרום האוטיסטי (ASD) היא הפרעה נוירו-התפתחותית עם סימפטומים החל מליקויים בתקשורת חברתית ואינטראקציה ועד להתנהגויות מוגבלות וחוזרות על עצמן. אקולליה - החזרה על המילה או הביטוי האחרון שנשמעו, נפוצה בילדים. מחקרים מוקדמים זיהו הפרעות בדיבור בילדים עם ASD. כאשר חלקם מציגים אקולליה, מה שעלול להוביל לגילוי מוקדם שלASD. כאן אנו מפתחים מערכת למדידת הדמיון של דפוסי דיבור בין מטפלים וילדים ללא צורך בתעתיק ברמת הפונמה. מערכת זו משתמשת בעיוות זמן דינמי (DTW) וברשת עצבית סיאמית (SNN) כדי להשוות את מל-ספקטרוגרמות של דפוסי הדיבור. נורמליזציה של הרמקולים מתבצעת באמצעות טכניקת נורמליזציה של אורך הקול (VTLN) כדי למנוע וריאציות בין דוברים. השתמשנו בהקלטות דיבור של 34 ילדים דוברי עברית שהשלימו הערכת אוטיזם אבחון תצפיות (ADOS). הרשת העצבית הסיאמית השיגה AUC של 85%.

תקציר באנגלית

Autism Spectrum Disorder (ASD) is a neurodevelopmental disorder with symptoms from deficits in social communication and interaction to restricted and repetitive behaviors. Echolalia – the repetition of the last-heard word or phrase, is prevalent in children with ASD. Early studies have identified speech abnormalities in children with ASD, with some exhibiting echolalia, which can lead to early detection of ASD. Here we are developing a system to measure the similarity of speech patterns between therapists and children without the need for phoneme-level transcription. This system uses dynamic Time Warping (DTW) and a Siamese Neural Network (SNN) to compare the mel-spectrograms of the speech patterns. Speaker normalization is performed using a Vocal Tract Length Normalization (VTLN) technique to eliminate speaker variations. We used Speech recordings of 34 Hebrew-speaking children who completed an Autism Diagnostic Observation Schedule (ADOS) assessment. The Siamese neural network achieved an AUC of 85%.