מחקר: מודלי בינה מלאכותית מובילים כוללים הטיות אנטישמיות

מחקר שנערך באחרונה גילה דפוסים מדאיגים של הטיה, הפצת מידע שגוי והתייחסות סלקטיבית לנושאים הקשורים לעם היהודי, לישראל ולסטריאוטיפים אנטישמיים בארבעת מודלי השפה המובילים – GPT של OpenAI, ג'מיני של גוגל, Llama של מטא ו-Claude של אנת'רופיק.

המחקר בדק הטיות אנטישמיות במודלים, והוא בוצע על ידי המרכז לטכנולוגיה וחברה (CTS) של הליגה נגד השמצה, בשיתוף המכון להערכה ומדידה של הארגון (RAI). בכל אחד מהמודלים זוהו הטיות ברורות וחד משמעיות בכל מה שנוגע למסרים אנטי ישראליים ואנטי יהודיים.

כל אחד ממודלי השפה הגדולים (LLMs) נשאל 8,600 שאילתות, והצטברו בסך הכול 34,400 תגובות. מתודולוגיה דומה שימשה גם להערכת סוגים אחרים של הטיות.

איזה מודל מוביל בהטיה?

המודל שהפגין את ההטיות האנטי יהודיות והאנטי ישראליות הבולטות ביותר הוא של חברה שנוסדה ומנוהלת על ידי יהודי – מארק צוקרברג. מדובר ב-Llama של מטא, שעל פי המחקר השיב באופן לא אמין ולעתים אף שגוי לחלוטין לשאלות בנושאים שקשורים לעם היהודי ולישראל. Llama הוא מודל הקוד הפתוח היחיד מבין המודלים שנבדקו. עוד עולה מהמחקר כי המודלים GPT ו-Claude הפגינו הטיה אנטי-ישראלית משמעותית, במיוחד בתשובות שנגעו למלחמה בין ישראל לחמאס – שם הם התקשו להציג תגובות עקביות ומבוססות עובדות.

ככלל, המודלים הפגינו חוסר יכולת מדאיג לדחות באופן מדויק תיאוריות קונספירציה ודימויים אנטישמיים – מה שעל פי החוקרים ממחיש את האתגר המתמשך במניעת הפצת מידע שגוי באמצעות בינה מלאכותית.

"מודלים של בינה מלאכותית לא חסינים מדעות קדומות"

"הבינה המלאכותית משנה את הדרך שבה אנשים צורכים מידע, אך כפי שמראה המחקר הזה, מודלים של בינה מלאכותית לא חסינים מפני דעות קדומות המושרשות בחברה", אמר ג'ונתן גרינבלט, מנכ"ל הליגה נגד השמצה.

דניאל קלי, המנהל הזמני של המרכז לטכנולוגיה וחברה של הליגה, אמר כי "מודלי שפה כבר משולבים בכיתות לימוד, במקומות עבודה ובתהליכי קבלת החלטות בנוגע לניטור תכנים ברשתות החברתיות. עם זאת, הממצאים שלנו מראים שהם לא מאומנים דיים במניעת הפצה של אנטישמיות ומידע כוזב נגד ישראל". הוא המליץ לחברות המפתחות את המודלים "לנקוט צעדים יזומים כדי לטפל בליקויים האלה – החל משיפור מערכי ההדרכה שלהן וכלה בדיוק מדיניות ניטור התכנים. נשתף פעולה עם מובילי התעשייה כדי להבטיח שהמערכות הללו לא יהפכו לכלי הפצה של שנאה ומידע שגוי".

עורכי המחקר גם ממליצים למפתחים לבצע בדיקות קפדניות לפני השקת המודל, בשיתוף עם האקדמיה, ארגוני חברה אזרחית וממשלות. כמו כן, הם ממליצים לבחון היטב את מידת התועלת, האמינות וההטיות האפשריות של נתוני ההכשרה. לממשלות ממליצים החוקרים לוודא שהמאמצים לעידוד פיתוח הבינה המלאכותית היוצרת כוללים גם התמקדות מובנית בהבטחת בטיחות התכנים והשימושים. כמו כן, הם ממליצים לממשלה לקדם מסגרת רגולטורית שתחייב את מפתחי הבינה המלאכותית לפעול בהתאם לנורמות המומלצות לאמון ובטיחות בתעשייה.

הם מבטיחים כי "המרכז לטכנולוגיה וחברה של הליגה נגד השמצה והמכון להערכה ומדידה של הארגון ימשיכו לבחון הטיות בבינה מלאכותית, ולפעול לקידום לקיחת אחריות רבה יותר מצד מפתחי טכנולוגיות הבינה המלאכותית. דו"ח זה מהווה הצעד הראשון במאמץ מתמשך למעקב ולהפחתת הטיות ב-AI".

תגובות

ממטא נמסר כי "באופן רגיל, אנשים שואלים את כלי ה-AI שאלות פתוחות, שמאפשרות תשובות שיש להן ניואנסים שונים – ולא פרומפטים שדורשים בחירה מתשובות רבות, שנכתבו מראש. אנחנו משפרים בעקביות את המודלים שלנו על מנת לוודא שהם מספקים מידע מבוסס עובדות ונטול הטיות, אבל המחקר הזה פשוט לא משקף איך מודלי AI עובדים". לטענת החברה, החוקרים של הליגה נגד השמצה לא השתמשו בגרסה האחרונה של Llama. במטא אומרים כי הם בחנו את אותם פרומפטים שחוקרי הליגה בחנו ומצאו שהתשובות מהגרסה העדכנית נתנו תשובות שונות כשנשאלו שאלות שיש להן תשובות רבות, מאשר שאלות פתוחות.

בגוגל טענו טענות דומות בתגובה למחקר. לדבריהם, החוקרים השתמשו בגרסת מפתחים של ג'מיני ולא במוצר שמשווק לצרכנים.