נושא הפרוייקט

מספר פרוייקט מחלקה שמות סטודנטים אימייל שמות מנחים

זיהוי מכשולים רלוונטים באמצעות מצלמות

Relevant obstacle detection using cameras

תקציר בעיברית

לילדים בעלי מוגבלויות קיים פער ביכולות למידה וביכולות מוטוריות .לכן ישנו צורך לפיתוח של כיסא גלגלים אוטונומי שידע לזהות ולבצע קבלת החלטות עבור רלוונטיות של אובייקטים אופציונליים. על ידי בניית אלגוריתם ,שמנתח את המידע ממצלמת הRealSense  שמותקנות על כיסא הגלגלים, נוכל למצוא את האובייקט הרלוונטי ביותר בכל רגע להתייחסות ולפעולה מתאימה.

בעזרת שימוש בניתוחים גיאומטריים ,ניתוחי תמונות העומק ותמונות הRGB ,בנינו אלגוריתם חכם שמקבל החלטה בכל רגע מהו האובייקט הרלוונטי ביותר לכל כיוון התקדמות של הכיסא.  האלגוריתם יודע למדוד את גודל האובייקט הרלוונטי, ולחשב מרחק מהנקודה הכי קרובה של האובייקט. בנוסף ,על ידי מימוש של אינטרפולציה וחישובים גיאומטריים האלגוריתם יודע ולהתעלם מאובייקטים שאינם מהווים מכשול עבור הכיסא.

קיבלנו זיהוי והחלטה נכונה עבור אובייקט עד טווח של 3 מטרים ומטווח רחוק יותר התוצאות פחות מדויקות  . בנוסף שילבנו לצורך שלמות הניתוח ,רשת נוירונים מאומנת לסיווג ספציפי של האובייקטים בעזרת מודל DNN מopen source. שילוב זה נתן סיווג טוב למספר אובייקטים ספציפיים. להמשך עבודה יש לאמן רשת מותאמת לסביבה של כיסא הגלגלים בכדי לשפר את רמת הסיווג של האלגוריתם.

לסיכום, האלגוריתם עומד בדרישות ההתחלתיות ואכן מדייק בניתוח שלו עד מרחק של 3 מטרים בזמן חישוב של 3 ניתוחים מלאים בשנייה, שבמונחי זמן תגובת הכיסא זהו קצב שעולה על הדרישות הראשוניות. בניית האלגוריתם על ידינו התמקדה בניתוח שמתבסס בעיקר על תמונות העומק .

מילות מפתח:

כיסא גלגלים אוטונומי, מצלמת RealSense , מצלמת עומק , ניתוחים גיאומטריים, קבלת החלטות, זיהוי אובייקטים, סיווג אובייקטים.

תקציר באנגלית

There is a gap in learning and motor abilities for children with disabilities. Therefore, there is a need for the development of an autonomous wheelchair that can identify and make decisions regarding optional objects. By developing an algorithm that analyzes data from the RealSense camera located on the wheelchair, we can identify the most relevant object at any given moment and take appropriate action for the wheelchair. Through geometric analysis, depth image analysis, and RGB image analysis, we have created an algorithm that determines the most relevant object for each direction of wheelchair movement. The algorithm can measure the size of the relevant object and calculate the distance from the nearest point of the object. Additionally, by implementing interpolation and geometric calculations, the algorithm can ignore objects that do not pose obstacles to the wheelchair.

We achieved accurate detection and decision-making for objects within a range of three meters, but the results are less precise for larger distances. we integrated a trained neural network for a specific classification of objects using an open-source DNN model, which provided a good classification for certain specific objects. To further improve the algorithm's classification accuracy, a network specifically for the wheelchair's environment needs to be trained.

 In conclusion, the algorithm meets the initial requirements of three full analyses per second and is accurate within three meters range, which is a significant distance for appropriate action in terms of the wheelchair's response time. The algorithm's development focused primarily on depth image analysis.

Keywords:

Autonomous wheelchair, RealSense camera ,Depth image, Geometric analysis, Decision- making ,Obstacle detection, object classification