נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
אוטומציה של הגנה נגד דגימות אדברסריאליות במודלי למידת מכונה.
Automation of security against adversarial examples in ML models.
תקציר בעיברית
מודלים של למידת מכונה פגיעים להתקפה הנקראת Adversarial Examples (AE). בהתקפה זו היריב מוסיף כמות מזערית של רעש לקלט של המודל אשר משנה את החיזוי באופן משמעותי. AEs הם פרצת אבטחה משמעותית שכן תחומים רבים, כגון רובוטיקה, רפואה ופיננסים, משתמשים במודלים של למידת מכונה כדי להפוך החלטות לאוטומטיות. למרות שקיים מגוון רחב של הגנות נגד AEs, אין הגנה אחת שעובדת עבור כל מודל. המשמעות היא שהמגן חייב לשקול את כל ההגנות עבור כל מודל חדש. יתרה מכך, בעת בחירת הגנה, המגן חייב לשקול גם את המהלך הבא של התוקף מאחר שהוכח שניתן לעקוף כמעט כל הגנה על ידי יריב מסתגל (מי שמתחשב בהגנה תוך כדי יצירת וביצוע ההתקפה). התחשבות בכל ההיבטים הללו היא אתגר גדול עבור מהנדס למידת מכונה ממוצע. למיטב ידיעתנו, לא קיימות שיטות אוטומטיות לבחירת מערך ההגנות הטוב ביותר עבור מודל נתון בהתחשב ביריב אדפטיבי. בעבודה זו, אנו סוגרים את הפער הזה על ידי הצעת מערכת בשם. AutoDefenceML ביצוע חיפוש קומבינטורי של כל ההגנות האפשריות וההתקפות על ההגנות הללו עם הפרמטרים האופטימליים שלהן אינו מעשי. לכן, הגישה שלנו למציאת פתרון היא על ידי (1) שימוש ב Hyper Parameters Optimization ועל ידי (2) הגדלה הדרגתית של מכלול הגנות עד להתכנסות שבה הן ביצועי ההתקפה והן הפגיעה בביצועי המודל ממוזערים. התוצאות הראשוניות שלנו מראות שגישה זו היא לא רק מעשית אלא גם מספקת למגן פתרון חזק יותר נגד יריבים מסתגלים.
תקציר באנגלית
Machine learning models are vulnerable to an attack called adversarial examples (AE). In this attack the adversary adds an imperceivable amount of noise to a model’s input which alters the model’s prediction significantly. AEs are a serious security concern since many domains, such as robotics, medicine and finance, use machine learning to automate decisions. Although there exists a wide variety of defenses against AEs, there is no single defense that works for every model. This means that the defender must consider all defenses for every new model. Moreover, when selecting a defence, the defender must also consider the attacker’s next move since it has been shown that nearly any defense can be bypassed an adaptive adversary (one who considers the defense while crafting the attack). Considering all of these aspects is a great challenge for the average machine learning engineer. To the best of our knowledge, there are no methods for a defender to automatically select the best set of defenses for a given model considering an adaptive adversary. In this work, we close this gap by proposing a system called AutoDefenceML. Performing combinatorial search of all possible defenses and subsequent attacks on these defences with their optimal hyperparameters is impractical. Therefore, our approach to find an approximate solution by (1) use hyperparemter optimizers and by (2) incrementally growing an ensemble of defenses until convergence where both attack performance and harm to model performance are minimized. Our initial results show that this approach is not only practical but also provides the defender with a more robust solution against adaptive adversaries.