נושא הפרוייקט

מספר פרוייקט מחלקה שמות סטודנטים אימייל שמות מנחים

רגיסטרציה של תמונות בנוכחות טרנספורמציות גדולות ושנויי תאורה

Matched Manifold Detection for Dense Wide Baseline and Large Illumination Variations Image Registration

תקציר בעיברית

כל סצנה ניתן לפרק לאריחים קטנים יותר שמקיימים קירובים מסויימים, כך ששתי תצפיות על אותו אריח קשורות על ידי טרנספורמציה גיאומטרית אפינית וטרנספורמציה רדיומטרית מונוטונית. הוכח קודם לכן שעל ידי חילוק התמונה לאריחים, ומידול טרנספורמציות מקומיות עקב תנועת המצלמה כאילו שכל אריח עובר טרנספורמציה אפינית והבדל מונוטוני של העוצמות, ה-Matched Manifold Detector (MMD) המבוסס על RIUME מספק רגיסטרציה צפופה (התאמות צפופות). מטרת הפרויקט היא לבצע רגיסטרציה תחת תנאי תאורה חריפים. בעזרת ה-MMD מבוסס RIUME וגלאי נקודות מפתח נלמד LoFTR שיכול להתמודד עם תמונות שבהן וריאציות הארה גדולות, גילינו והראינו שמטודה זו יכולה להתמודד עם רגיסטרציה תחת תנאי תאורה חריפים.

תקציר באנגלית

Almost any scene can be well approximated by its tessellation into tiles, such that two observations on the same tile are related by simultaneous affine transformation of coordinates and a monotonic mapping of the intensities. It was shown before that by tessellating the image into tiles, and modeling local transformations due to camera movement as if each tile undergoes a simultaneous affine transformation of coordinates and monotonic mapping of the intensities, the RIUME-based Matched Manifold Detector (MMD) provides dense registration for an a-priori unknown and un-modeled scene structure. the purpose of the project is to make an image registration under large illumination variation. With the help of RIUME-based MMD and a learned key-points detector LoFTR that can handle images where illumination variations are large, we discovered and showed that this method can handle registration under large illumination variations.