נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
Overlays של תמרורים באמצעות למידה עמוקה ובאמצעות מערך נתונים מלאכותי המיוצר באמצעות סימולטור הקוגנטה הפוטוריאליסטי לניהוג של רכבים
Video DL Traffic Signs Overlays by Artificial Data Set Derived from the Cognata Photorealistic Self Driving Car Simulator
תקציר בעיברית
כיום חברות רבות בעולם שוקדות על פיתוח מגוון פתרונות ומוצרים לדבר הבא בעולם הרכב, הרכב האוטונומי. על מנת להתמודד עם ליקויי הרכב האוטונומי קיימת אפשרות להשתלטות מרחוק אשר דורשת שידור וידאו איכותי בין מצלמת הרכב למסך הנהג המרוחק. מטרת הפרויקט הייתה להקטין את רוחב הפס בעת שידור המידע ולשפר את איכות הוידאו המתקבל במסך הטלאופרטור אצל הנהג המרוחק, זאת בעזרת שימוש במודל מאומן שמימשנו המשחזר את תמרורי התנועה מתוך מסיכות צבע מתאימות. לצורך שימוש במודל יצרנו מאגר נתונים של זוגות של תמרורי תנועה ומסיכות צבע שנלקחו מסרטונים שיצרנו בסימולטור ה-Cognata. כמו כן, במהלך קליטת המידע התבקשנו להתמודד גם עם מצבים של תנאי נראות קשים ותנאי סנוור במצלמת הרכב. התוצאות בפרויקט תואמות את ציפיותינו. הצלחנו לממש אלגוריתם המסוגל לקבל תמונות הנלקחות מסרטונים מהסימולטור, לאתר בהם את התמרורים הרלוונטיים ולסווג אותם למסיכות צבע. כמו כן, יצרנו autoencoder שבמהלך הלמידה שלו ואימונו הצלחנו להקטין את השגיאה רבות. כך שבעת בחינת המודל כאשר הכנסנו מסיכה, קיבלנו במוצא את התמרור המתאים באופן ברור ובהטייתו המתאימה.
תקציר באנגלית
Today, many companies in the world are working on developing a variety of solutions and products for the next thing in the automotive world, the autonomous vehicle. To deal with the shortcomings of the autonomous vehicle, there is the possibility of tele-driving, which requires high-quality video transmission between the vehicle's camera and the remote driver's screen. The main goal of the project was to reduce the bandwidth when transmitting the information and to improve the quality of the video received on the remote driver's teleoperator screen, by a trained model we implemented that reconstructs the traffic signs from its appropriate color masks. For using the model, we created a database of pairs of traffic signs and color masks which taken from videos we created in the Cognata simulator. Also, during the reception of the information we were also asked to deal with situations of difficult visibility conditions and glare conditions in the vehicle camera. The results in the project match to our expectations. We managed to implement an algorithm capable of receiving video frames from the simulator, locating the relevant traffic signs in them and classifying them into appropriate color masks. Also, we created an autoencoder that during its learning and training we succeeded to reduce the error a lot. So, when we tested the model while inserting a color mask as input, we received at the output the appropriate traffic sign clearly and with the appropriate slant.