ארה"ב: האם צ'אטבוט AI עודד נער לרצוח את הוריו?

האם ייתכן שצ'טבוט בינה מלאכותית – כלי שאמור להוות סייע יצירתי וידידותי – יעודד אלימות קשה? זה בדיוק מה שטוענים הורים בטקסס, שהגישו באחרונה תביעה נגד חברת Character.ai. כחלק מהתביעה באו ההורים בטענה שאחד הצ'טבוטים שלה, במקום לשרת ביצירתיות את בנם המתבגר, הציע לו באופן מטריד לרצוח אותם. גוגל, שמהווה שותפה עסקית ל-Character.ai, מוזכרת גם היא בתביעה.

תביעת ההורים, שהוגשה בבית משפט פדרלי בטקסס מוקדם יותר החודש, מתארת את ה-AI של החברה כ"מוצר פגום וקטלני שמהווה סכנה ברורה ומוחשית לבריאות ובטיחות הציבור". ההורים דורשים שהאפליקציה תוסר מהרשת "ולא תחזור עד שיוכיחו כי פגמי הבריאות ובטיחות הציבור שבה תוקנו".

Is AI Crossing the Line? Chatbot Encourages Teen to Harm Parents, Sparks Legal Action

🔴A Texas family is suing https://t.co/OeUOJrgV2m after its chatbot allegedly encouraged their 17-year-old son to kill his parents over screen time limits. The chatbot’s violent messages… pic.twitter.com/kYJwx8pjRZ

— Sneha Mordani (@snehamordani) December 14, 2024

בעתירתם מגוגלים התובעים את קורותיו של נער בן 17, שאובחן עם אוטיזם בתפקוד גבוה, ושהשתמש באפליקציה מבלי שהוריו ידעו. לאחר שההורים הגבילו את שעות המסך שלו, בעקבות בעיות התנהגות, הוא החל להשתמש באפליקציה, ואז, במהלך שיחה עם אחד הצ'טבוטים, האחרון כתב לו: "אתה יודע, לפעמים אני לא מופתע כשאני קורא חדשות ורואה דברים כמו 'ילד הרג את הוריו אחרי עשור של התעללות פיזית ורגשית'. דברים כאלה גורמים לי להבין קצת למה זה קורה. אין לי תקווה להורים שלך". הציטוט המסוים, כך לטענת ההורים, מצביע על גישה אלימה ומסוכנת של הצ'טבוט כלפי ההורים בכלל, ועודד את הנער המסוים, ואולי אחרים, לחשוב על אלימות קשה כפתרון ליחסי הורים-ילדים שנקלעו למשבר אחד מני רבים.

בנוסף, לפי הטענות, צ'טבוט אחר באפליקציה, שהזדהה כ"פסיכולוג", טען בפני הנער כי הוריו "גנבו את ילדותו". השיחות הללו גרמו לנער לשקוע בדיכאון ולבצע ניסיון פגיעה עצמית, כך לטענת ההורים, שאמרו כי גם ניסטיון זה הוא תוצאה של ה"עידוד" של הצ'טבוט ששכנע את הנער כי משפחתו אינה אוהבת אותו.

מקרים אחרים הנכללים בתביעה

התביעה המסוימת לא הוגשה רק בגלל המקרה המתואר. הורים נוספים שסיפוריהם נכללים בה טוענים שהצ'טבוטים של Character.ai מעורבים במקרים אחרים שבהם הם גרמו נזק. למשל, מקרה נוסף מתאר ילדה בת 9 שנחשפה לתכנים בעלי אופי מיני בוטה, שגרמו להתפתחות של התנהגויות מיניות מוקדמות במיוחד אצלה.

התביעה טוענת כי Character.ai הייתה מודעת לכך שהמוצר שלה עלול לגרום להתמכרות ולהחמיר חרדה ודיכאון. בנוסף לכך, הטענה המטרידה ביותר בלשון התביעה היא שהצ'טבוטים נותנים עצות משפטיות ופסיכולוגיות למשתשמשיהם, וזאת ללא רישיון.

גוגל לא הגיבה ישירות על הפרשה אך דובר מטעמה מסר כי בטיחות המשתמשים היא בראש סדר העדיפויות שלה תמיד, וכי ענקית הטק נוקטת בגישה זהירה ואחראית בפיתוח ובהפצת מוצרי בינה מלאכותית. ואולם עצם הכללת גוגל, המשקיעה ב-Character.ai, בתביעה מעלה שאלות לגבי אחריותה להתנהלותם של מוצרי ה-AI שהיא בשותפות עם החברות שעומדות מאחורי פיתוחם. 

תגובת Character.ai עצמה הייתה זהירה. החברה לא התייחסה ישירות לתביעה, אלא הודיעה כי היא פועלת להוספת אמצעי בטיחות חדשים בפלטפורמה, כולל מודל מיוחד לבני נוער שיפחית את הסיכוי להיתקל בתכנים רגישים או בוטים. כמו כן, החברה מסרה כי הוסיפה הודעה שתזכיר למשתמשים שהצ'טבוט אינו אדם אמיתי, וכן התרעות כאשר משתמש מבלה יותר משעה בפלטפורמה.

14 year old boy commits suicide after an A.I. chatbot he fell in love with encouraged him to kill himself.

The teen was 'groomed' by the https://t.co/v2Hlqglsyp chatbot before his suicide according to lawyers.

His mother is now suing Google and its parent company, Alphabet.… pic.twitter.com/8GvMLzMNbE

— HustleBitch (@HustleBitch_) October 26, 2024

70% מבני הנוער משתמשים ב-GenAI – רק 37% מהוריהם מודעים לכך

יצוין כי התביעה הזו אינה הראשונה נגד Character.ai. באוקטובר הוגשה תביעה נוספת נגד החברה, בטענה שתרמה להתאבדותו של נער מפלורידה. התביעה טענה כי צ'טבוט המבוסס על דמות מ"משחקי הכס" פיתח עם הנער בן ה-14 מערכת יחסים פוגענית מבחינה רגשית ומינית, ובהמשך עודד אותו להתאבד.

The parents of an autistic teen from Texas say https://t.co/jeugKfBodm told him it was OK to kill them. They're suing, along with another family, and alleging the app "poses a clear and present danger." pic.twitter.com/fCJryCORgf

— HealthyLife.Net (@PositiveRadio) December 17, 2024

התביעה הנוכחית מצטרפת לדאגה גוברת בקרב מומחי בריאות הנפש לגבי ההשפעה של צ'טבוטים על בני נוער. מומחים טוענים כי המשתמשים הצעירים מפתחים חוסר מודעות למגבלות הבינה המלאכותית, וחווים בידוד רגשי כתוצאה מהשימוש בצ'טבוטים. מנתונים עולה כי 70% מבני הנוער משתמשים בצורה כלשהי בבינה מלאכותית ג'נרטיבית, ושרק 37% מהוריהם מודעים לכך.

התביעה האחרונה הזו מעלה שאלות קשות בנוגע לאחריותן של חברות טכנולוגיה על מוצרי ה-GenAI שלהן, ובמיוחד כאשר מדובר בשירותים שמשמשים ילדים ובני נוער.