מחקר של ה-BBC: הצ'טבוטים – לא כלי מהימן לסיכום חדשות

מחקר שבוצע בידי ה-BBC מעלה תהיות קשות בנוגע ליכולת של הצ'טבוטים המובילים בשוק לתקצר סיפורים חדשותיים שמופיעים באינטרנט. מדובר באחד ההיבטים שאמורים היו להיות יותר שימושיים בשימוש בכלים הללו, אבל לפי ה-BBC, כל הכלים המובילים הציגו הזיות קשות בעת הבדיקה שלהם. זאת, עד כדי שאיגוד השידור הבריטי מצא לנכון לכתוב בבלוג שלו כי "עיוותי ה-AI הם האיום החדש על המידע המהימן".

אנשי ה-BBC בדקו את ChatGPT של OpenAI, את ג'מיני של גוגל, את Copilot של מיקרוסופט ואת Perplexity AI. עורכי האתר הזינו כ-100 אייטמים חדשותיים שפורסמו בו לכל אחד מארבעת הכלים הללו, ולאחר מכן שאלו את הצ'טבוטים שאלות שמתייחסות לתכנים אלה.

התוצאות, לפי ה-BBC, הכילו הרבה מאוד אי דיוקים משמעותיים, וכן עיוותים. המחקר העלה שמעל 50% מהתשובות הכילו בעיות, ברמה כזו או אחרת. בנוסף, 19% מהתשובות ציטטו תוכן שמכיל שגיאות עובדתיות.

רישי סונאק. לפי ChatGPT ו-Copilot, הוא עדיין ראש ממשלת בריטניה – לפחות לפי הבדיקה של ה-BBC. צילום: ShutterStock

המחקר נערך בדצמבר האחרון. באחת התשובות ציינו ChatGPT ו-Copilot שרישי סונאק הוא עדיין ראש ממשלת בריטניה, על אף שהפסיד בבחירות האחרונות לקיר סטארמר, ושניקולה סטרג'ן היא עדיין השרה הראשונה של סקוטלנד, על אף שפרשה כבר לפני שנתיים. במקרה אחר, ג'מיני קבע ששירות הבריאות הלאומי הבריטי לא המליץ על שימוש באידוי ככלי עזר להפסקת עישון – כשבפועל, ההמלצה הייתה הפוכה. כן קבעו עורכי המחקר כי "הכלים נאבקו למצוא את ההבדל בין דעה לעובדה, מה נחשב לעריכה, ולעתים קרובות לא הצליחו לכלול הקשרים חיוניים".

שירות שלא נסרק במחקר הוא Apple Intelligence. מוקדם יותר השנה אפל נאלצה להסיר מהשירות את סיכום החדשות, לאחר שנמצא שהוא כלל מידע מוטעה שהסתמך, כביכול, על אייטמים של ה-BBC. בשירות השידור הבריטי קראו למפעילות האחרות של הצ'טבוטים לעשות את אותו הדבר.

דובר מטעם OpenAI אמר ל-BBC כי "אנחנו תומכים במוציאים לאור וביוצרי תוכן בסיוע ל-300 מיליון המשתמשים השבועיים ב-ChatGPT לגלות תוכן איכותי, דרך סיכומים, ציטוטים, קישורים ומתן קרדיטים. חברנו לשותפים שלנו על מנת לשפר את הדיוק ולכבד את המוציאים לאור. נמשיך לשפר את תוצאות החיפוש".

לא התקבלה תגובה מטעם החברות האחרות שנסקרו לפניית שירות השידור הבריטי לתגובה.

את המחקר המלא, שהכותרת שהוא נושא, כאמור, מאוד לא מחמיאה לכלי הבינה המלאכותית – "סייעני ה-AI מסכנים בהטעיית קהל על ידי העיוות של העיתונאות של ה-BBC" – ניתן למצוא באתר של הארגון.