נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
הגנת על מודלי בינה מלאכותית של תמרורים מפני התקפות
Protecting traffic sign AI models from attacks
תקציר בעיברית
מערכות בינה מלאכותית (AI) פגיעות למגוון התקפות, כולל התקפות פיזיות. זיהוי שגוי של תמרור עצור כתמרור של הגבלת מהירות כתוצאה מהתקפות אלה עלול להוביל לתאונות קטסטרופליות. דוגמה להתקפה מסוג זה הינה קלט בעל מבנה מיוחד שנראה רגיל לעין האנושית אבל גורר זיהוי שגוי למודלים של למידת מכונה. המטרה שלנו היא לשפר את העמידות של המודל נגד התקפות אלה באמצעות שיטות הגנה של עיבוד תמונה על מנת לשחזר את האובייקט המקורי. לצורך כך, ביצענו התאמות למודל זיהוי תמרורים ולאחר מכן תקפנו מודל זה באמצעות התקפה פיזית של פאץ' מפוקסל. התקפה זו הובילה למספר זיהויים שגויים מדאיגים. על-ידי שימוש בשיטת שחזור תמונה הצלחנו לחזק את המודל שלנו כנגד התקפות מסוג זה. לסיכום, ישנם התקפות שמהוות בעיה אמיתית למודלים של AI, אבל המחקר שלנו מראה את האפשרות לחזק את המודל לטובת התמודדות עם איומים כאלה.
תקציר באנגלית
Artificial Intelligence (AI) systems are susceptible to various attacks, including physical adversarial attacks. Misclassifying a stop sign as a speed limit sign due to those attacks can lead to catastrophic accidents. Adversarial examples are inputs crafted to appear normal to humans but cause misclassification in machine learning models. Our objective was to enhance networks' robustness against adversarial attacks by exploring pre-processing defense methods. We employed inpainting, reconstructing the original object before the attack, as our defense approach. To evaluate our approach, we fine-tuned an AI model for traffic sign classification and subjected it to a pixelized patch-based physical adversarial attack. This attack induced concerning misclassifications. By applying inpainting, we managed to robust our model against such attacks with high accuracy. In conclusion, adversarial attacks pose significant problems for AI models, but our research demonstrates the possibility of fortifying models to cope effectively with such threats