האם הבשורה בתחום הצילום בסמארטפונים תגיע מישראל?

עולם הטלפונים החכמים עבר בשנים האחרונות שינוי משמעותי מאוד, שבא לידי ביטוי בחשיבות ההולכת וגוברת לצילום. לא מדובר רק במספר העדשות, אלא גם איכות החיישנים ובכמות האור שהם מכניסים למערכת. מאחורי הקלעים, מדובר במעבדים חזקים יותר, שמציעים יותר יכולות.

זה נכון גם ל-Snapdragon 8 Gen 2, המעבד החדש – או, יותר נכון, המערכת על שבב שמורכבת ביותר מ-50 שבבים זעירים – שעליו הכריזה קוואלקום לפני כמה ימים בכנס המפתחים שלה בהוואי. הגרסה החדשה של ה-Snapdragon, שתצא לשוק עוד לפני סוך השנה, מגיעה עם מעבד תמונה חדש ומעדוכן, שמביא אל השולחן לא רק שיפורים לעומת הדור הקודם, אלא גם כמה תכונות שאמורות לשדרג את התוצאות שיפיקו המשתמשים מהטלפונים החדשים שיהיו מבוססים עליו.

בכל מה שקשור לצילום, לקוואלקום ישראל יש הרבה מה לספר. לחברה שני מרכזי פיתוח בארץ – אחד בהוד השרון, שמתעסק בפיתוח שונים, ובעיקר במודם המתקדם שמשובץ במעבד, ואחד בחיפה, שהוא חלק משמעותי בקבוצה שאחראית להיבטים של הצילום – ועובד מול צוות האם בארצות הברית ומול הצוותים האחרים בהודו, בדרום קוריאה ובטייוואן.

"המטרה: שהמחשוב יהיה ממש ביחידת הקצה"

"מה שמאפיין את האסטרטגיה של קוואלקום הוא פיתוח רובד טכנולוגי אחד, שלאחר מכן מתאימים אותו לשווקים השונים. למשל, בהיבט שאנחנו מעורבים בו, מתאימים את אותו מעבד תמונה לכל השווקים, לטלפונים, לרכבים, למחשבים ניידים ולטאבלטים", סיפר ניר שטראוס, מוביל צוות טכנולוגיית התמונה במרכז של קוואלקום בחיפה.

בגדול, אמר שטראוס, "קוואלקום רוצה לעשות משהו שהוא אלחוטי, עתיר ביצועים וחסכני, ולהעביר את החוכמה ואת הזמינות ממש אל יחידת הקצה, כי אחרת, זמן השיהוי יכול להיות גבוה או שתהיה הפרה של תנאי המשתמש, כמו העברת פרטי זיהוי אצבע לשרת רחוק. לכן, אנחנו רוצים שהמחשוב יהיה ממש ביחידת הקצה, כולל שיפור בביצועים של הבינה המלאכותית".

ניר שטראוס, מוביל צוות טכנולוגיית התמונה במרכז של קוואלקום בחיפה. צילום: מארק גינצבורג

הבינה המלאכותית באה לידי ביטוי חזק מאוד בתכונות החדשות, ששולבו בדור החדש של המעבד. אחת התכונות הללו מכונה Cognitive ISP. תכונה זו משתמשת בדור החדש של שבב ה-Hexagon, ה-DSP, כדי ליצור סגמנטציה בתמונה. היא מפרקת אותה לגורמים על ידי זיהוי של חלקי פנים, כולל עיניים ושיער, רקעים שונים, בדים שונים, והעברה ל-ISP של מפה של שטחים שבהם ניתן להשתמש כדי לעבד באופן שונה כל חלק ולשנות צבע, מרקם, רמת רעשים וכדומה. זאת, במקום לשנות את כל התמונה בבת אחת – מה שעלול לגרום לעיוותים. מדובר בטכנולוגיה שמוצעת בקוד פתוח, כך שניתן להשתמש בטכנולוגיה של חברות אחרות כדי ליצור את המפה הזו.

תכונה חדשה אחרת היא שימוש בבוקה ב-וידיאו, וזאת על ידי ביצוע של אותו תהליך סגמנטציה, כדי לזהות את האובייקט הראשי וליצור את האפקט של הטשטוש מאחור. זה נעשה בזמן אמת, מבלי כל שהיות כפי שנדרש בצילום וידיאו. הדבר בא לידי ביטוי גם בתהליך שמאפשר לשמור על יציבות מוחלטת של צילום הווידיאו, שבו האופק נשאר יציב לחלוטין, גם תוך כדי ריצה, ובמיוחד בטכנולוגיה חדשה שהחברה מכנה ViULL – צילום וידיאו בתאורה נמוכה במיוחד, בעוצמה של עד לוקס יחיד, שמצליחה להפיק פרטים מדהימים ותיקוני תמונה משופרים. כך, ניתן לצלם בחושך כמעט מוחלט מבלי לפגוע בפרטים, ותוך הימנעות ממריחות צבע מיותרות.
מדובר בפיתוחים שעל חלקם העבודה כבר נמשכת ארבע שנים. אחד מהם – החלפת רקע חלקה בווידיאו באופן מקוון ומיידי תוך כדי צילום – ישולב בדור הבא של המעבר, Snapdragon 8 Gen 3.

"המטרה של קוואלקום הוא להפוך את הטלפון למצלמה מקצועית – ולשם אנחנו הולכים. אני לא חושב שיש מצלמת DSLR שיש לה יכולת חישוב יותר גדולה ממעבד של קוואלקום, ואנחנו גם משלבים שיפור של אופטיקה, מה שמביא אותנו אל הקו שבו נמצאות המצלמות המקצועיות. עיבוד התמונה הוא תחום מאוד גמיש, כי אין סטנדרט, ואנחנו מספקים ממשק לכולם", אמר שטראוס.

"התפיסה העיקרית שלנו היא: מה שאפשר לעשות בחומרה – עושים בחומרה, כדי לא לבזבז חשמל וגם כדי לקצץ את זמני העיבוד. המטרה המוצהרת היא לייצר אלגוריתם חומרתי, שעושה את הפעולות בזמן מהיר. אי אפשר לחכות, לומר למשתמש אל תעביר כי אנחנו מטפלים כמה שניות בפריים. הכול חייב להיות מיידי – לצלם, לקודד, לסנן ולייצב, ואז לשמור", סיכם.