חוקרים ב-MIT לימדו רובוט "לחוש" אובייקט בהתבסס על מראהו

בני אדם יודעים להשתמש בחושיהם בתוך סנכרון, ובכך מגיעים לתוצאה סינרגטית, למשל, כשאנו שומעים קול, אנחנו מחפשים לראות מה מקורו. הראייה והשמיעה יחד מספקים תמונה רחבה ומדויקת יותר מאשר רק אחד החושים. אבל במקרה של נגיעה באובייקט ומישושו בלבד, גם אז יודעים בני האנוש לקבל מידע מהמוח שלנו על התחושה שהוא עתיד לספק בעת מגע בו. רובוטים לעומת זאת אינם יכולים להשתמש בחושיהם במשולב, ולכן מדענים במעבדה למדעי המחשב ולבינה מלאכותית, ה-CSAIL, שקדו על תיקון המצב, שהם מכנים "הפער החושי" הרובוטי.

בכדי לחבר את חוש הראייה וחוש המגע של הרובוט כך שידעו לנבא ולהשפיע זה על האחר, עבדו מהנדסי CSAIL עם זרוע רובוטית של KUKA – סוג מכשור המשמש לעתים קרובות במחסנים תעשייתיים. המדענים הלבישו על הזרוע חיישן מישוש מיוחד בשם GelSight – לוח גומי שקוף, סינתטי הפועל כמערכת הדמיה. בעת מגע, האובייקטים נלחצים לתוך GelSight, ואז המצלמות המקיפות את הלוח מציגות את התוצאה.

בעזרת מצלמת אינטרנט משותפת, תיעד צוות CSAIL כ-200 אובייקטים, כולל כלים, מוצרים ביתיים ובדים, שזרוע הרובוט נגעה בהם מעל 12,000 פעמים. הדבר יצר מצבור של קטעי וידיאו שהצוות יכול לפרק ל-3 מיליון תמונות סטטיות, שיצרו מאגר נתונים שהחוקרים מכנים VisGel. לאחר מכן, צוות CSAIL שילב את מערך הנתונים של VisGel עם מה שמכונה רשתות אדוורריות גנריות, או רשתות GAN.

"על ידי הסתכלות על הסצנה, המודל שלנו יכול לדמיין את ההרגשה של נגיעה במשטח שטוח או בקצה חד", הסביר ד"ר יונזו לי, חוקר CSAIL, שהוא המחבר הראשי של הדו"ח אודות המערכת החדשה, בהצהרה לעיתונות. "אם אתה רואה קצה חד או משטח שטוח, אתה יכול לדמיין איך זה ירגיש אם תיגע בו," אמר לי ל-CNN. "זה מה שאנחנו רוצים גם – שלרובוטים שלנו תהיה היכולת הזו".

לזהות ולשלוף מפתח מכיס

הצלחה ברכישת האפשרות לחבר בין החושים יכולה, לדברי החוקרים, גם לעזור לרובוט לאתר פריט מסוים, גם אם אינם יכולים לראותו. לי הסביר שלמשל בני האדם מטפלים במקרים שבהם הם במקום חשוך או מכניסים יד למשל לתוך תיק או כיס בכדי לנסות לגלות איפה המפתחות ולשלוף אותם החוצה. במצבים אלו נדרש הסנכרון הבין-חושי.

כרגע הנתונים שאספו החוקרים לוקטו בסביבה מבוקרת, אך הצוות מקווה לשפר זאת על ידי איסוף נתונים חדשים ברחבי העולם. בסיום פיתוחה עשויה הטכנולוגיה המסוימת לעזור לרובוטים להבין את הדרך הטובה ביותר להחזיק עצם רק על ידי התבוננות בו.

"זו השיטה הראשונה שיכולה לתרגם באופן משכנע בין אותות חזותיים ומגע", צוטט בתגובה לפיתוח אנדרו אוונס, פוסט-דוקטורנט מאוניברסיטת קליפורניה בברקלי, במגזין של MIT. "לשיטות כאלו יש פוטנציאל להיות מאוד שימושיות בעבור רובוטיקה, כשצריך לענות על שאלות כמו 'זה אובייקט קשה או רך?', או 'אם אני מרים את הספל על ידי הידית שלו, כמה טובה תהיה האחיזה שלי?' זו בעיה מאוד מאתגרת, כי האותות כל כך שונים, והדגם הזה הוכיח יכולת רבה".

מאמר המבוסס על המחקר מתוכנן להיות מוצג ביום ה' בכנס The Conference on Computer Vision and Pattern Recognition שיערך בלונג ביץ', קליפורניה.