האם רחפן יחליט את מי להרוג?

בתחילת מרץ 2018, פורסם כי גוגל (Google) עובדת עם משרד ההגנה של ארצות הברית בכדי להפוך את הרחפנים, שכבר נמצאים בשירות צבא ארצות הברית, למבוססי בינה מלאכותית, ואולי גם לצורך הוספת AI לאמצעי חימוש נוספים.

המיזם המשותף, שזכה לשם Project Maven, עתיד ליצור טכנולוגיה מתקדמת, שיכולה לזהות אילו אובייקטים נמצאים במרחב שבו פועל הרחפן. מיזם זה גרם להתמרמרות בקרב עובדי גוגל וכמה אלפים מהם חתמו על עצומה לפיה הם מבקשים מגוגל לבטל את השתתפותה בפרויקט.

פרופ' פיטר לי, מנהל תחום ביטחון וסיכון ומומחה בפוליטיקה ואתיקה, אוניברסיטת פורטסמות' (University of Portsmouth) בבריטניה, אמר כי "גוגל וחברות אחרות המפתחות מערכות AI לכלי נשק, עשויות למצוא את עצמן כמטרה צבאית לגיטימית עבור האויב".

לדבריו, "צבא ארצות הברית הכריז לאחרונה כי הוא מפתח את המזל"טים הראשונים שיכולים לזהות ולכוון אל כלי רכב ואנשים באמצעות בינה מלאכותית (AI). זהו צעד גדול קדימה. בעוד הטילים הצבאיים הנוכחיים עדיין נשלטים על ידי אנשים, טכנולוגיה חדשה זו תחליט מי להרוג כמעט בלי שום מעורבות אנושית", כתב פרופ' לי במאמר שפורסם באתר The Conversation.

לאחר שיושלם פיתוחם, כתב, "ייצגו מטוסים אלה את המיליטריזציה האולטימטיבית של AI ויגרמו להשלכות משפטיות ואתיות רחבות היקף על החברה. יש סיכוי שהלוחמה תעבור מקרבות להשמדה, ותאבד כל מראית עין של האנושות בתהליך. עם זאת, היא יכולה להרחיב את תחום הלחימה, כך שחברות, המהנדסים והמדענים יהפכו למטרות צבאיות תקפות".

מי שלוחץ אחרון על ההדק חייב להיות אדם

"מל"טים צבאיים קטלניים כבר קיימים", אמר פרופ' לי. "אחד מהם הוא ה-MQ-9 Reaper, הם מפוקחים בקפידה ומנותבים באמצעות לוויין. אם מל"ט כזה מטיל פצצה או יורה טיל, מופעל חיישן אנושי המנחה אותו באופן פעיל אל המטרה שנבחרה באמצעות לייזר".

"בסופו של דבר על צוות המפעילים מוטלת האחריות האתית, המשפטית והמבצעית האחרונה של הריגת מטרות אנושיות ייעודיות. כפי שמציין אחד המפעילים של Reaper: 'תמיד אסכים שמורד, חשוב ככל שיהיה כיעד, יסתלק ולא להסתכן בהרג אזרחים'".

"אפילו כאשר יש לנו יכולת מפותחת להרוג אנשים באמצעות רחפנים, רגשות אנושיים, פסקי דין ואתיקה היו גורם שהשפיע על הלחימה. תפוצתם של מקרי טראומה נפשית והפרעת דחק פוסט טראומטית (PTSD) בקרב המפעילים, מראה את ההשפעה הפסיכולוגית של הרג מרחוק", אמר פרופ' לי.

"זה בעצם מצביע על טיעון צבאי ואתי אפשרי של רונלד ארקין, בתמיכה במל"טים אוטונומיים. אולי אם יהיה מל"ט שיזרוק את הפצצות, עשויות הבעיות הפסיכולוגיות בקרב אנשי הצוות להימנע. החולשה בטיעון הזה היא שאתה לא צריך להיות אחראי על הרג כדי להיות בטראומה בגלל זה. מומחי מודיעין ואנשי צבא אחרים מנתחים באופן שוטף צילומים גרפיים מתקיפות של מטוס. מחקרים מראים כי ניתן לסבול מנזק פסיכולוגי גם מצפייה בתמונות המציגות אלימות קיצונית".

"כאשר ראיינתי למעלה מ-100 אנשי צוות Reaper לספר עתידי, כל אדם שדיברתי איתו, שביצע תקיפות קטלניות, האמין שבסופו של דבר כי מי שלוחץ אחרון על ההדק חייב להיות אדם. קח את האדם – ואתה גם מוציא את האנושיות מההחלטה להרוג".

תוצאות חמורות

האפשרות של מל"טים אוטונומיים תשנה לחלוטין באופן קיצוני את התהליכים המורכבים וההחלטות שמאחורי ההרג הצבאי. אבל האחריות המשפטית והאתית אינה נעלמת כאשר מסירים את הפיקוח האנושי. במקום זאת, האחריות תיפול יותר ויותר על אנשים אחרים, כולל מדעני בינה מלאכותית.

לדברי פרופ' לי, "ההשלכות המשפטיות של התפתחויות אלה כבר מתבררות. על פי המשפט ההומניטארי הבינלאומי הנוכחי, מתקני 'שימוש כפול' – אלה המפתחים מוצרים הן לצרכים אזרחיים והן לצבא – ניתן לתקוף בנסיבות המתאימות. כך, למשל, במלחמת קוסובו ב-1999, הותקף בית הזיקוק לנפט פנסבו משום שהוא עלול היה להזרים דלק טנקים יוגוסלבים, כמו גם דלקים אזרחיים".

"שורות מסוימות של קוד המחשב עשויות כמעט בוודאות להיות מסווגות כמיועדות לשימוש כפול. חברות כמו גוגל, עובדיה או המערכות שלה, יכולות להיות חשופות להתקפה ממדינת אויב. לדוגמה, אם תוכנת ה-MIL של Google Motion Image המבוססת בינה מלאכותית תשולב במזל"ט אוטונומי צבאי אמריקני, גוגל יכולה למצוא את עצמה מעורבת בעסקי 'הריגה', כמו כל תורם אזרחי אחר במערכות אוטונומיות קטלניות כאלה".

"מבחינה אתית, יש בעיות חמורות אף יותר. כל הרעיון של האלגוריתמים הלומדים בלמידה עצמית – תוכנות שלומדות באופן עצמאי מכל מידע שהן יכולות לאסוף, משתמשות בטכנולוגיה כדי להשתפר בכל משימה שהן מקבלות".

"אם רחפן אוטונומי קטלני ישתפר בעבודה שלו באמצעות למידה עצמית, מישהו יצטרך להחליט על שלב מקובל של פיתוח – כמה המערכת עדיין צריכה ללמוד. בלמידה של מכונות צבאיות, משמעות הדבר היא שמנהיגים פוליטיים, צבאיים ותעשייתיים יצטרכו לציין כמה מקרי מוות של אזרחים ייחשבו כמקובלים ככל שהטכנולוגיה משתפרת".

"המקרים האחרונים של הרג בידי מערכות אוטונומיות צריך לעורר דאגה. הניסויים הקטלניים של אובר (Uber) וטסלה (Tesla) עם מכוניות נהיגה עצמית מראה כי די מובטח שיהיו לנו מקרי מוות בלתי רצויים מפעולת מערכות אוטונומית בגלל באגים בתוכנה".

בסיכום דבריו, חושש פרופ' לי כי בסופו של דבר אם מכונות יחליטו מי ימות, במיוחד כשמדובר בהרג המוני, הדבר עלול להוביל למה שמבקרי הבינה המלאכותית – ובהם פרופ' סטיבן הוקינג המנוח – חששו יותר מכל – שמכונות עלולות להשמיד את האנושות.