מהפכת הכתב של גוגל

חוקרי גוגל (Google) הצליחו לפתח מערכת לימוד מכונה שיודעת לתאר תמונות בכתב. לפי פוסט שפורסם בבלוג של קבוצת המחקר של החברה, Google Research, המכונה יכולה לזהות את מה שמופיע בתמונה ולספק כותרת שמתארת את מה שמופיע בה, ולעשות זאת כבר בפעם הראשונה בה היא רואה את התמונה.

המטרה של המערכת היא, על פי החוקרים שפרסמו את הפוסט, להגיע למצב בו היא תשמש אנשים עם ליקויי ראייה להצליח להבין מה מתרחש בתמונה שמציגים בפניהם, לספק טקסט תחליפי אוטומטי עבור דפי אינטרנט כך שהוא יוצג במקומות התמונות מתקשות להופיע גף בגלל חיבור חלש לאינטרנט, ובסופו של דבר גם להשתלב במנוע חיפוש התמונות של גוגל כדי להקל על איתור התמונה המתאימה.

החוקרים מתארים בפוסט את הדרך בה המכונה מבינה את מה שהיא רואה בתמונה וכיצד היא מביאה זאת לידי ביטוי בכתיבת הכותרת המתאימה. לדבריהם, הרעיון לשילוב של המודל הויזואלי והלשוני לכדי מערכת מאומנת עלה מבחינת הדרך בה מחשבים מבצעים כיום תרגום של שפות זו לזו. במערכת תרגום שפה המשפט המקורי הופך לוקטור שאותו המפענח הופך לשפה השנייה. במקרה של מערכת התמונות, השפה הויזואלית בונה וקטור שמפוענח לידי כתיבה מדויקת, פחות או יותר.

כדי לבחון את המערכת השתמשו החוקרים במאגרי תמונות פתוחים לכלל הציבור, והם מציגים בפוסט מספר דוגמאות לפירושים מוצלחים יוצר ופחות. "ייתכן שתמונה שווה אלף מילים, אבל לפעמים המילים הן השימושיות יותר – לכן חשוב שנמצא דרכים לתרגם תמונות למילים באופן אוטומטי ומדויק", נכתב בפוסט.