גוגל שדרגה את ג'מיני בתכונות לייב וידיאו ושיתוף מסך בזמן אמת

ענקית הטכנולוגיה גוגל החלה באחרונה בהפצה של שתי תכונות מרכזיות חדשות עבור ג'מיני (Gemini) – לייב וידיאו ושיתוף מסך.

תכונות אלה, שנחשפו לראשונה בכנס Google I/O 2024, פותחו בידי יחידת דיפ-מיינד של החברה (Google DeepMind) כחלק ממה שמכונה 'פרויקט אסטרה' (Project Astra). הן מעניקות לג'מיני יכולות עיבוד נתונים מרובי-מודלים בזמן אמת, ומאפשרות לצ'טבוט מבוסס הבינה המלאכותית להשיב באופן מיידי לשאלות על סמך מה שהוא רואה במכשיר ובסביבתו של המשתמש.

We’re also bringing some of Project Astra’s capabilities to the @GeminiApp. ✨

Screen sharing and live video streaming will be available first on @Android and the @SamsungMobile Galaxy S25 series – enabling Gemini to better understand the world around you. →… pic.twitter.com/k38k7blekK

— Google DeepMind (@GoogleDeepMind) January 22, 2025

התייעצות על בסיס צילום בזמן התיעוד

כך למשל הפיצ'רים החדשים מאפשרים לג'מיני לגשת אל פיד המצלמה במכשיר ולנתח את התמונה שצולמה בו בזמן אמת, ובכך לענות על שאלות הנוגעות למה כלי ה-AI רואה. לדוגמה,  אם תצלמו אתר תיירות מוכר או שלט חוצות לא לגמרי ברור – ג'מיני יוכל להסביר לכם עליהם ולענות על שאלותיכם אדותיהם. למי שמקשה עם בחירת 'לוק' יומי, יכול ג'מיני לסייע גם כן באותו אופן – על המשתמש להציג לפניו את ארון הבגדים והוא יגיש לו הצעות אופנתיות עדכניות,על בסיס במלתחה האישית של המשתמש.

בנוסף, תכונת שיתוף המסך – שהיא גרסה משופרת של תכונת "דבר על המסך" ('Talk about the screen') הקיימת – תסייע לג'מיני לעזור למשתמשים בזמן שהם מנווטים בין מסכים שונים בסמארטפונים שלהם.

@GeminiApp Live with Video, AKA Project Astra has been "leaked" by the Gemini team on Instagram! If this is true, then this is AWESOME, if it is free ofc. Ik Google will make it free though anyway! pic.twitter.com/r7XDhT8TEH

— Sai Sri Koustubh Nemani (@SaiNemani1) March 16, 2025

גוגל ציינה בעבר כי מטרתה היא להפוך את ג'מיני ליעיל יותר במצבים בזמן אמת, ובכך לחזק את מעמדה בחזית העוזרים הווירטואליים המונעים על ידי בינה מלאכותית. בהקשר זה, יצויין כי תכונת הווידיאו החי של ג'מיני דומה לתכונת Advanced Voice Mode with Vision שהכניסה המתחרה OpenAI ל-ChatGPT, וגם לפיצ'ר הווידאו בזמן אמת במשקפיים החכמים של מטא וריי-באן (ה-Ray-Ban Meta AI Glasses).

על פי דיווחים, ייתכן שמכשיר הפיקסל הבא של גוגל, Pixel 9a, לא יקבל את תכונות ה-AI החדשות הללו בשל מגבלות זיכרון RAM. 

נעדכן כי בנוסף ליכולות הווידאו החי, גוגל הציגה גם כלים חדשים אחרים עבור ג'מיני, כמו 'קנבס' (Canvas) לעריכה חלקה של מסמכים וקוד, ו'סקירה קולית' (Audio Overview), שהופכת מסמכים והרצאות לדיונים בסגנון פודקאסט בין שני מארחים. 

המהלך האחרון מראה כי, על פניו, החברה ממאונטיין וויו ממשיכה להרחיב את יכולות ג'מיני ולהתקדם לקראת מטרתה לבסס את מעמדה כמובילה בתחום חוויות המשתמש המונעות בידי בינה מלאכותית. 

כדאי עם זאת כי לפי דובר גוגל, אלכס ג'וזף, ששוחח עם The Verge, תכונות הבינה המלאכותית החדשות מופצות כעת עבור Gemini Live, אולם לעת עתה הפיצ'רים יהיו זמינים רק למנויי Gemini Advanced וגם זאת רק באפליקציות המובייל. גוגל טרם שיתפה מידע בנוגע להרחבת הפצת התכונות הללו למשתמשים בגרסה החינמית של הצ'טבוט. עם זאת, לזכות החברה יאמר כי בעבר בכריזה שהתכונות החדשות יופצו עד חודש מרץ, וההשקה הנוכחית מעידה על עמידה בלוח הזמנים של גוגל לשירות למנויי Gemini Advanced.