הכנסות ChatGPT מזנקות – למרות כישורי תכנות מפוקפקים

האם הפופולריות של כלי ה-GenAI הראשון ששוחרר ושכובש את העולם מעידה על דיוק? לא בהכרח, אם מתבססים על מחקר חדש שנערך לאחרונה באוניברסיטת פרדו

נכשל בענק במבחן תכנות. ChatGPT.

ChatGPT של OpenAI – כלי הבינה היוצרת המצליח במיוחד – ממשיך להיות נושא חם בכותרות התקשורת העולמית. באחרונה קיבלנו אודותיו שני דיווחים, שאפשר להתייחס אליהם כאל סותרים משהו.

מחד, האפליקציה לנייד של ChatGPT חוותה עלייה בהכנסותיה השבוע. ולא סתם עלייה, אלא כזו שמסמנת את הזינוק הגדול ביותר של החברה אי פעם בהכנסות בנייד, כך על פי דיווח של Techcrunch, בהתבסס על נתונים חדשים מחברת מודיעין האפליקציות Appfigures. החברה מצאה כי אפליקציית ChatGPT הסלולרית הרוויחה 4.2 מיליון דולר בהכנסות נטו, בין התאריכים ה-13 ל-17 במאי. 

מאידך, הפופולריות הגואה של הצ'אטבוט בפרט (ושל שירותי OpenAI בכלל), מתרחשת למרות שהוא עדיין לא שלם או מושלם, בלשון המעטה.

מציע תכנות מדויק, או לאו? ChatGPT.

מציע תכנות מדויק, או לאו? ChatGPT. צילום: Shutterstock

מחקר מצביע על כשלי תכנות של ChatGPT

כך למשל, תוצאות מחקר שנערך לאחרונה אודות ChatGPT באוניברסיטת פרדו (Purdue University) האמריקנית מעלות חששות לגבי יכולתו של הצ'אטבוט לענות על שאילתות תכנות באופן מדויק.

החוקרים מ-פרדו בחנו את התגובות של ChatGPT ל-517 שאילתות תכנות שמקורן ב-Stack Overflow – פורום פופולרי למתכנתים. הממצאים היו דרמתיים: יותר ממחצית (52%) מהתשובות של ChatGPT נמצאו כשגויות.

החוקרים שלקחו חלק במחקר המסוים, ביניהם כמה חוקרים עצמאיים כמו סמייה כאביר, בונאן קו, דיוויד אודו-אימה, ועוזר הפרופסור טיאניי זאנג, הבהירו כי שגיאות רבות נבעו מחוסר היכולת של ChatGPT לתפוס את הניואנסים ההקשריים של השאלות.

ואולם ממצא שהוא אולי אפילו יותר מדאיג הוא שהמחקר גילה כי חלק ניכר מהמשתתפים (40%) העדיפו את/האמינו לתשובות של ChatGPT, גם כשהן היו שגויות באופן מוכח.

נראה שהסיבה לאמונתם של רבים בכשלי המענה של ChatGPT (בנושא התכנות, במקרה המסוים), קשורה לשטף ולמראה של התוצר שהוא מספק. המחקר מצביע על כך שהיכולת של הצ'אטבוט לייצר טקסט מקיף, רהוט ונכון מבחינה דקדוקית, והעובדה שהתוצר שלו לעתים קרובות גם עולה על הבהירות של התגובות הנכונות ב-Stack Overflow, היא שיוצרת מצג, לעיתים מצג שווא, שהוא מדויק ואמין במיוחד. זה יכול להוביל את המשתמשים לסמוך על המידע שהכלי סיפק, ועלול להפריע ליכולתם לזהות ולהימנע משגיאות בקוד שסופק.

GPT-4o – הסיבה לעליית מספר המנויים לצ'אטבוט בנייד

אם לחזור לנסיקה בפופולריות של ChatGPT לנייד – לפי ההערכות, זו מונעת ממודל השפה הגדול החדש שהשיקה OpenAI באחרונה – GPT-4o שמו.

המודל הזה, שהחברה הציגה כאנושי, מהיר וחכם בהרבה, מציע שלל תכונות חדשות וחדשניות להדהים, שמספקות לכלי ה-AI יכולת לעשות דברים נוספים ומאוד מסעירים. כך למשל, המודל החדש מצטיין בעיבוד טקסט, לצד יכולות עיבוד של תמונה ושמע. משמע, הוא מבין כשמדברים אליו ומבין גם סרטונים או שידור לייב, אם אלו מופיעים מולו. וזה רק קמצוץ מיכולותיו, שאותן תוכלו לראות בציוץ של החברה המצורף.

OpenAI אמנם בישרה כי הכלי במתכונתו החדשה יוצע למשתמשים בחינם ולא ידרוש מנוי פרו, אך ההבטחה הזו לא חלה על אפליקציית ChatGPT שלה לנייד. החברה אמנם טוענת כי בכוונתה להפיץ מאוחר יותר את GPT-4o גם בסמארטפונים, אבל בינתיים הוא לא מוצע שם בחינם. זו אולי הסיבה לכך שבשבוע הראשון מאז השקת המודל החדש, משתמשים בנייד החלו לשדרג את עצמם למנוי החודשי של ChatGPT בעלות של 19.99 דולר – ששמו ChatGPT Plus – כדי להתנסות ביכולות החדשות של ChatGPT.

אם כך, הפופולריות לנוכח הצגת היכולות החדשות של ChatGPT רק עולה, ומה שהוא עושה באמת נראה נפלא. אבל אפשר שהנראות הפנומנלית, המהירות והחינניות לא ממש עומדות בקנה אחד עם דיוק. ההשלכות הפוטנציאליות של ממצאי מחקרים על חסרון זה, יכולות לגרום לחברה להיות בלחץ לטפל בחששות הללו. בינתיים, מומלץ למשתמשים לנקוט משנה זהירות כאשר הם מסתמכים על ChatGPT, במיוחד עבור משימות תכנות מורכבות, ולבדוק שוב את המידע שהוא מספק מול מקורות מהימנים.

תגובות

(0)

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אין לשלוח תגובות הכוללות דברי הסתה, דיבה, וסגנון החורג מהטעם הטוב

אירועים קרובים