נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
דחיסה לפי אזורי עניין באמצעות למידה מחוזקת עבור רכבים אוטונומיים
Region of Interest (ROI) Video Rate Control by Reinforcement Learning for Self-Driving Cars
תקציר בעיברית
נהיגה אוטונומית הינה העתיד של התחבורה העולמית. חלק מהפתרונות האוטונומיים העתידיים הללו, ידרשו את היכולת של נהג מרוחק להשתלט על הרכב, בעיקר במצבי חירום. בכדי לאפשר זאת, נדרשת יכולת דחיסה ושידור וידאו אפקטיבית, היות ושידור הוידאו עשוי להתבצע תחת עומסים של ערים סואנות או באזורים עם קליטה חלשה. מטרת הפרויקט היא לתכנן ולכתוב Rate Control (RC), רכיב אשר תפקידו לקוונטט את תמונות הוידאו טרם שידורן בהתאם למגבלות שונות. החידוש יהיה בכך שה-RC שנציע, ובאופן קונקרטי RC מסוג λ, יקבל את תמונות הוידאו לאחר שעברו סגמנטציה, יחד עם מידע על הקלסיפיקציה של התמונה. בעזרת הנתונים הללו, ה- RCיקוונטט את התמונה בצורה דיפרנציאלית על פי אזורי עניין (ROI). סגמנטים ויזואלים החשובים לנהיגה, כדוגמאת תמרורים, יקוונטטו באיכות גבוהה, בעוד שסגמנטים אחרים בעלי חשיבות פחותה, כדוגמת השמיים, יקוונטטו באיכות נמוכה. על מנת לעשות זאת, נכתוב תוכנת RC אשר בזמן-אמת מחשבת את רמות הקוונטיזציה השונות לכל סגמנט. אופן החישוב ייקבע באמצעות Reinforcement learning שנאמן על סימולציות Cognata לנהיגת רכב אוטונומי. אנו מצפים להצליח לדחוס וידאו על גבי רוחב פס נמוך יותר, תוך שיפור איכות התמונה באזורים הקריטיים לקבלת ההחלטות של הנהג המרוחק.
תקציר באנגלית
Autonomous driving is the future of global transportation. Some of these future Autonomous solutions will require the ability for a remote driver to takeover, especially in emergencies. To do that, an effective compression and video transmission capability is required, especially, since the video transmission may take place under loads of busy cities or areas with weak reception. The purpose of the project is to plan and write a Rate Control (RC) - a component which quantifies the video frames before transmitting it. The Project’s goal is to let the RC, specifically λ – Domain RC, receive the video frames after been segmented with classified data of the frame. Using this data, the RC will differentially quantify the frame by regions of interest (ROI). Important visual segments for driving, such as road signs, will quantify in high quality, while others, such as the sky, will quantify in low quality. In order to do so, we will write a real-time RC software which Calculates the different quantization levels for each segment. This calculation will be determined using Reinforcement Learning based on Cognata’s simulations for autonomous driving. We expect to be able to compress video over a lower bandwidth, while improving the image quality in the critical areas for driving.