נושא הפרוייקט
מספר פרוייקט
מחלקה
שמות סטודנטים
אימייל
שמות מנחים
שיטת הגנה כנגד התקפות מפרות פרטיות על מערכות זיהוי פנים
FaceBone - A Multiple Backbones Mitigation Method
תקציר בעיברית
בשנים האחרונות גבר השימוש ברשתות נוירונים עמוקות בשלל יישומים. אחד מהם הוא מערכת זיהוי פנים שהמשימה הנפוצה היא להשוות בין שתי תמונות ולהכריע האם מדובר באותו בן אדם או לא. רשתות אלו לרוב דורשות כמות עצומה של מידע כדי להגיע לתוצאות טובות ולרוב מדובר ברשתות מאוד מורכבות עם מיליוני פרמטרים. לכן, פעולה נפוצה כיום היא להשתמש ברשת אשר אומנה מראש וזמינה באופן פומבי ובעלת ביצועים גבוהים על המשימה. בעקבות השימוש המתרחב ברשתות עמוקות (ובפרט ברשתות הזמינות באופן פומבי), חלה התפתחות של יצירת התקפות כנגד מודלים אלו המסוגלות להשיג מידע רגיש בנוגע למודל או לסט האימון שלו (כגון האם תמונה מסוימת שייכת לסט האימון, האם המודל התאמן על יותר גברים מנשים וכו') בעקבות כך יש צורך בליצור שיטת הגנה אשר ממסכת את ההשפעה של הרשת ומונעת מההתקפה להצליח. אנו מציעים שיטת הגנה אשר שומרת על ביצועים גבוהים של המודל ומסתירה את רמת ההשפעה של הרשת על הצלחה של סוגי התקפות שונות. שיטת ההגנה שלנו כוללת שימוש בכמה רשתות מורכבות שונות מבחינת כמות הפרמטרים או סט האימון. וכך לתוקף אין ידע מקדים לגבי המודל שהוא תוקף אותו ויתקשה לבצע התקפה מוצלחת על המודל המבוסס על שיטה זו. לשם כך פיתחנו מערכת לזיהוי פנים המשתמשת בשיטת ההגנה שלנו ומימשנו מספר התקפות מסוגים שונים ובחנו את התקפות הלו כאשר אנו משתמשים בשיטת ההגנה וללא שימוש בשיטת ההגנה.
תקציר באנגלית
A face recognition (FR) system is a computer system that uses algorithms to identify or verify individuals based on their facial features. It compares images of faces to identify or verify an individual's identity accurately. FR models are machine learning (ML) models that use facial features to identify and classify individuals. In recent years, the performance of FR models has significantly improved due to the development of deep learning (DL) techniques and the availability of large-scale datasets. The backbone of an FR model refers to the underlying neural network architecture used to process and analyze facial images. This backbone is often used to convert face images into a compact and discriminative representation known as embedding. Therefore, the backbone is a critical component that plays a significant role in the overall performance of the FR model. However, as they process and store large amounts of sensitive personal data, these backbones can be vulnerable to privacy violation attacks. Privacy violation attacks on machine learning (ML) models refer to accessing or extracting sensitive information from an ML model or its training data. We introduced FaceBone – a multiple backbones mitigation method. To overcome the vulnerability of the backbone, we will use various backbones, which mask the influence of the single backbone. We will use several backbones that convert additional facial images into embedding vectors. Next, the predictor will be trained on the embedding vectors (created from different backbones). Using multiple backbones will likely affect the attack's success.