נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
ניקוי רעש בתמונות 3D בטכניקת Integral Images ע"י למידה עמוקה בלתי מונחית
Denoising 3D Integral Images by Unsupervised DNN
תקציר בעיברית
טכניקות צילום 3-D סובלות מרעש והרעה באיכות התמונה, אולם המחקר ומאגרי הנתונים הזמינים בתחום מוגבלים. המחקר שלנו התמקד בתמונות בטכניקת Integral Imaging (InI), טכניקה לצילום תמונות תלת ממדית הלוכד את הסצנה ע"י רכישת תמונות מנקודות מבט רבות בעזרת מערך של מיקרו עדשות. המידע נשמר כמערך של תמונות דו ממדיות שנקראות Elemental Images (EIs). המטרה שלנו הייתה לבחון רשת למידה עמוקה בלתי מונחית להורדת רעשים בתמונות InI ע"י צילום בודד המתגבר על בעיית הדאטה איכותית מוגבלת. התמקדנו בתמונות עם יחס אות לרעש נמוך עקב תנאי תאורה נמוכים, רעש גאוסי אדטיבי ורעש פואסוני. עבדנו עם שיטה בלתי מונחית הנקראת Noise2Noise הלומדת לנקות את הרעש בהינתן דאטה המורכבת מזוגות של תמונות מורעשות בלבד, ללא הצורך בתמונות נקיות. לצורך אימון יצרנו זוגות של תמונות סמוכות מתוך מערך ה-EI. המודל המאומן שלנו הצליח לנקות את הרעש מהתמונה ולהגדיל את ערכי ה-PSNR ו-SSIM ב 7-10 dB ו-~0.5 בהתאמה. בהשוואה לתוצאות של רשת מונחית המאומנת בעזרת דאטה נקייה, הצלחנו להשיג תוצאות גבוהות דומות. מצאנו שקיימת קורלציה גבוהה בין התמונות הנלכדות במערך העדשות, הניתנת לניצול על מנת לשפר את איכות התמונה תוך שימוש בכמות דאטה מוגבלת. מילות מפתח: Integral Imaging, תמונה תלת-ממדית, הורדת רעש, Noise2Noise, למידה עמוקה, רשת נוירונים, למידה בלתי מונחית.
תקציר באנגלית
3-D imaging techniques suffer from noise and deterioration of image quality, however research and available databases are limited. This research focused on Integral imaging (InI), a passive 3-D imaging technique that captures the radiance field using a microlens array. This array captures a set of images called elemental images (EIs). Our goal was to explore an unsupervised deep learning method for InI denoising using a single shot that overcomes the problem of limited clean data. We focused on images with low signal to noise ratio (SNR) values due to low illumination, additive Gaussian noise and Poisson noise. We experimented with an unsupervised method based on the Noise2Noise (N2N) concept which suggests the ability to learn to remove noise given only pairs of noisy images in the training phase, without the need of clean images as references. We created training pairs from adjacent EIs. Our trained model was able to denoise images and increase PSNR by 7-10 dB and SSIM by ~0.5. Comparing with available supervised CNNs we were able to achieve similar high results. We found that the data captured and stored in EIs has a strong correlation that can be exploited to increase image quality using very limited data. Keywords: Integral Imaging, Three-Dimensional (3-D) Imaging, Denoise, Noise2Noise, Deep Neural Networks.