איך מחברים בין ה-AI של הסבנטיז לבינה המלאכותית היוצרת?

אם ניקח את הבינה המלאכותית של שנות ה-70' ונשווה אותה ל-AI של היום, ובוודאי של-GenAI, נגלה שהיא הייתה משהו שונה לגמרי. זה נכון על אחת כמה וכמה כשנשווה את מה שאנחנו תופסים כבינה מלאכותית לאיך שהחוקרים הראשונים בתחום, כאלן טיורינג וג'ון מק'ארתי, תפסו אותה אי אז בשנות ה-50'.

מבט בציר הזמן של התפתחות ה-AI מעלה שבסיקסטיז ובסבנטיז ראינו את הפיתוחים הראשונים, שאפשר לקרוא להם ה-"אבות המולידים" של כלי ה-AI והמוצרים מבוססי ה-AI של היום. כך, לדוגמה, הצ'טבוט הראשון יצא לפני כמעט 60 שנה – ב-1966. מדען מחשבים מ-MIT בשם ג'וזף ווייזנבאום פיתח את אליזה, שהציעה רפואי טיפול על ידי הפיכת תשובות של מטופלים לשאלות המשך. קחו את שייקי הרובוט, שלקח למדענים של מרכז הבינה המלאכותית באוניברסיטת סטנפורד שש שנים לפתח – בין 1966 ל-1972. המטרה שלו הייתה, לפי החוקרים, לפעול בסביבות מציאותיות – מה שמזכיר לא מעט רובוטים של ימינו.

במבט ארגוני, אנשי ה-AI של אז ניסו לפתור בעיות בצורה ממודלת ומורכבת. מאז "החורף של ה-AI" ששרר בין אמצע שנות ה-70' לאמצע שנות ה-90', ובפרט כיום, הבינה המלאכותית כוללת למידה עמוקה, Deep Boxes ושלל פיתוחים שהם הרבה יותר מתקדמים, ובטח שיותר מתקדמים מאז.

אנשי ה-AI של היום לא ממש נוטים להסתכל על ה-AI של פעם, ולחבר אותה לבינה המלאכותית העכשווית. חברה שעושה זאת – ולמעשה זה החזון שלה – היא AI21 Labs. "התפיסה שלנו היא שהמודלים הגדולים של השנים האחרונות הם תנאי הכרחי אבל לא מספק להגיע לפתרון הבעיות שהיינו רוצים לפתור", אמר אור דגן, סמנכ"ל מוצרים של המודלים הבסיסיים של החברה. AI21 Labs הוקמה לפני שבע שנים ודגן הצטרף אליה כשנה לאחר מכן.

"אחת הבעיות המהותיות במודלים גדולים וברשתות נוירונים היא שהם קופסאות שחורות, שהכול שם הסתברותי. שאנחנו לא שולטים בהם ולא יודעים למה הם קורים. אי אפשר לסמוך רק על המודלים האלה", ציין דגן.

"גוגל הראתה שהמודלים הפופולריים של עידן ה-GenAI לא יכולים לענות על שאלה פשוטה: איזה מספר יותר גדול – 9.11 או 9.9? הם עונים ש-9.11. זה אבסורדי – מדובר בפיתוחים מורכבים שמפתחים גאונים, והם לא יכולים לענות על שאלה פשוטה כזאת?", אמר.

איך עושים את זה? כיצד מחברים את המורכבות של היום לסימבוליות של ה-AI של פעם, כדי לענות על שאלות פשוטות? "יש לכך כמה דרכים", השיב דגן. "האחת היא הגישה, האמונה שהבינה המלאכותית היא באמת ובתמים הפתרון. גישה אחת היא האמונה שה-AI היא סכנה עצומה, שצריך לשמור עלינו כדי שהבינה המלאכותית לא תחליף אותנו, ושנדרשת רגולציה לתחום. מהצד השני, יש חברות שמאמינות שכדי לפתור את הבעיות בתחום ה-AI צריך עוד דאטה וכוח מחשוב, שיגרמו לה להיות יותר חכמה מאתנו – וזה מה שצריך להיות. הגישה שלנו היא התחככות עם הטכנולוגיה".

מה זה אומר?
"כדי לקבל פתרון עקבי שתוכל להציע ללקוחות, אתה צריך להתחכך בבעיות האמיתיות של ה-AI – וזאת הגישה שלנו. זאת גישה יותר מפוכחת ל-מה הקוד יכול לעשות ומה לא, התנסות תמידית, פריצת גבולות והשקעה גבוהה במחקר. יש לנו הרבה אנשי צוות שמתעסקים בבעיות לא פתורות, שמפתחים ומאמנים כדי לעשות זאת".

זה קצת יומרני, לא?
"כן, אבל אנחנו מתרגמים את היומרנות הזאת לביצועים. בישראל, אנחנו היחידים שמאמנים מודלים מהסוג הזה, וגם בעולם, אנחנו חלק מרשימה די מצומצמת של חברות שמתעסקות במודלי שפה ומאמנות אותם מאפס. יש 6-7 חברות שאפשר למנות ברשימה הזאת".

לדבריו, זוהי אחת הסיבות שהביאה חברות גדולות כמו אנבידיה, גוגל וסמסונג להשקיע ב-AI21 Labs ולהפוך אותה לפני כשנה ליוניקורן – בניגוד למגמה שרווחה ב-2023, של ירידה בהשקעות בהיי-טק הישראלי.

מודלים חדשים

בסוף מרץ האחרון הוציאה AI21 Labs את ג'מבה. בשבוע שעבר היא השיקה את הגרסה החדשה של המודל, Jamba 1.5 Large, וכן גרסת עדכון למודל Jamba 1.5 Mini. החברה שחררה את שניהם כמודלים פתוחים לקהילת המפתחים. המודלים הללו הם בעלי קלט (Long context window) ארוך של עד 256 אלף טוקנים – יכולת שמאפשרת לארגונים לבצע ניתוח ועיבוד של מידע בהיקפי ענק, בין אם מדובר במסמכים ארגוניים רבים, היסטוריות שיחה ארוכות או הנחיות מורכבות לשימוש בכלים חיצוניים. כמו המודל המקורי, גם המודלים החדשים מבוססים על ארכיטקטורת SSM-Transformer היברידית, שעל פי החברה חוסכת בעלויות.

שיחה עם ג'מבה. צילום: AI21 Labs

Jamba 1.5 Large נועד להתמודד עם משימות מורכבות, ועל פי AI21 Labs מהיר עד פי 2.5 באורכים גדולים מול מודלים מתחרים. Jamba 1.5 Mini היא גרסה מעודכנת של מודל ה-Jamba-instruct, שעל פי החברה הוא מהיר פי שלושה מהמודלים המרכזיים האחרים בשוק.

האם ג'מבה הוא המודל הטוב? ביושר – מפתיע בתעשייה, יש לומר – דגן אמר כי "אין אף מקרה שבו נכון להגיד שהמודל שלנו, או כל מודל אחר, עדיף תמיד. כל מקרה לגופו, זה הכול תלוי במשימה שהמודל אמור לפתור. היתרונות של משפחת ג'מבה הוא שמדובר בפתרונות קוסט אפקטיביים לטווח הארוך. ג'מבה הוא המודל הכי רלוונטי ברגע שרוצים להתעסק בפרודקשן בסקייל גדול, עם הרבה טוקנים, כי זה מצריך ניתוח של מסמכים מאוד ארוכים. עם זאת, כאמור, זה תלוי במשימה".

לאילו מגזרים אתם פונים?
"יש מגזרים קלאסיים לסוג המודל הזה: המגזר הפיננסי, שצריך לנתח המון מידע. כמו כן, אנחנו עובדים עם ארגונים במגזר הקמעונאות ועם ISVs – חברות היי-טק שרוצות לבנות את המודלים שלהן בעצמן".

אומרים שישראל נמצאת מאחור בתחום הבינה המלאכותית. איך אתה רואה את זה?
"קטונתי מלהשיב על כך. מה שכן, העובדה ש-AI21 Labs נמצאת ברשימה קצרה של חברות שמתעסקות בנושא הזה ברמה הזאת היא גאווה גדולה. נכון שאנחנו החברה הישראלית היחידה בסקייל הזה, אבל האקו-סיסטם בארץ הולך אתנו. חשוב לנו לעזור לחברות AI ולחברות אחרות כדי להבין את התחום הזה יותר טוב, ואנחנו מקיימים האקתונים. למשל, קיימנו לא מזמן האקתון בסן פרנסיסקו – זה עוזר לשים את ישראל על המפה של ה-AI".

בינה מלאכותית יוצרת. צילום: ShutterStock

אילו מגמות אתה רואה בעולם ה-AI הארגוני?
"אנחנו נמצאים בארגונים במעבר מבדיקת היתכנות של ה-GenAI לייצור. הארגונים הבינו שאסור לפספס את הרכבת. אנחנו רואים בשנה האחרונה שתי התפכחויות משמעותיות, שימשיכו הלאה: הראשונה היא שמדובר בפתרונות יקרים, וכדי להוציא אותם לייצור צריך להבין את החזר ההשקעה והאם זה תורם להכנסות או לרווח. זאת הסיבה שרואים יותר מודלים קטנים וזולים יותר.

ההתפכחות השנייה היא תקרת האיכות, ההבנה שכדי לבנות משהו מעל מודלי השפה הגדולים (ה-LLMs) צריך מערכות יותר מורכבות. היא כוללת את ההבנה שעם קריאה של שפה אחת בלבד אי אפשר להשיג תוצאה טובה לאורך זמן במשימות מורכבות, אלא צריך Agent, שמתכנן כמה צעדים קדימה ויודע להוציא את זה לפועל. שלוקח בחשבון מתי להשתמש בכלים. ארגונים שמים לב לזה, כי הם רואים איך הדברים שהם בנו מעל מודלי השפה הגדולים מגיעים לגבול מבחינת איכות ו-SLA מול הלקוחות שלהם. חלק מפתחים בעצמם וחלק משתמשים בפלטפורמות קיימות, כמו ספריות שאמורות לעזור ביצירת Agents. עם זאת, הארגונים מבינים באופן ברור שזה לא שם עדיין – לפעמים זה עובד וזה מדהים, אבל לפעמים זה מתרסק".