נושא הפרוייקט

מספר פרוייקט מחלקה שמות סטודנטים אימייל שמות מנחים

הגנה על מודלים לסיווג אובייקטים מפני מתקפות פיזיקליות

Defense against Attacks on AI Object Classification

תקציר בעיברית

אמינותן של רשתות DNN יכולה להינזק כתוצאה מהתקפות על הרשתות. מטרת הפרויקט שלנו היא להגן על מודל זיהוי האובייקטים של חברת אלביט מערכות מפני מתקפות פיזיקליות, שיכולות להתרחש בעולם האמיתי. בפרויקט, לאחר עיון בספרות, הצענו ומימשנו מתקפה פיזיקלית מסוג adversarial patch, שהצליחה להוריד את אחוזי הזיהוי של האובייקטים במעל ל20 אחוזים. בהמשך, מימשנו הגנה ממתקפה זו, באמצעות inpainting, שהצליחה להעלות בחזרה את אחוזי הזיהוי לאחוזים המקוריים.

גילינו כי במתקפות מסוג זה יש יותר חשיבות למיקום הפאץ' מאשר לצבע או המרקם שלו, והן מהוות סיכון עבור מודלים לזיהוי אובייקטים. המחקר שלנו הראה את חשיבותן של הגנות כמו inpainting במיגור הסיכון הזה, והעלה את החוסן והאמינות של רשתות לסיווג אובייקטים כנגד מתקפות.

תקציר באנגלית

Adversarial attacks compromise DNN credibility by manipulating inputs. Our work aims to defend Elbit Systems' object classification model from real-world physical attacks. We analyze attack techniques, propose a robust defense, and successfully reduce model confidence by over 20% using adversarial patch attacks. By implementing inpainting, we effectively restore the original confidence level. Patch attacks, which exploit location, pose significant risks to AI classification models. Our research emphasizes the importance of robust defenses like inpainting in mitigating these threats. This study contributes to enhancing the resilience and reliability of object classification networks against adversarial attacks.