מה מנתחים בעולם ה-Big Data?

אני נשאל באחרונה, בסוף של הרצאות שונות, שאלה אחת שחוזרת על עצמה. לא משנה אם הקהל כולל מנהלי שיווק, מנהלי טכנולוגיה, מנתחי מערכות או אנשי אקדמיה, תמיד שואלים אותי את אותה השאלה: מה אתם מנתחים בעולם ה-Big Data? האם אתם יודעים מה אתם מחפשים ?

לאור העניין הרב, החלטתי לכתוב טור הסבר, בתקווה שהוא ישפוך מעט אור על התעלומה הכי מסקרנת בעולם הנתונים הגדולים: מה אנחנו באמת מחפשים בבואנו להתעסק עם מידע מובנה ולא מובנה, מודלים או ניתוחים אנליטיים?

ראשית, חייבים להכיר את המונח Data Mining. זוהי הפעילות שמבצעים Data Scientists ביחידת ה-Big Data, שכוללת חקר של מקורות מידע שונים, זיקוק נתונים רלוונטיים, עיבוד נתונים אחרים והצלבתם עם מודלים, למשל של חיזוי וניבוי, לצורך גיבוש תובנות עסקיות. למעשה, מדובר בפעילות ממוקדת של המידענים לבור את המוץ מן התבן – למצוא את הנתון הכי רלוונטי, להפריד בינו לבין יתר התובנות ולגזור, ממנו ובעזרתו, הקשרים ותובנות.

בארגונים גדולים, מוטי מידע, פעילות זו מבוצעת בשלושה מימדים מרכזיים, תוך מתן מענה לסוגים שונים ורמות שונות של עומק עסקי:

Data Ware House

זהו מימד ראשון – מאגר מידע מרכזי, מחסן נתונים שאליו מועברים כלל הנתונים מכלל הערוצים ומקורות המידע ומאוחסנים בו בשכבות שונות. חלק מהנתונים עוברים קטלוג וסידור כך שיהיו נגישים ומוכנים לעיבוד וטיפול. מדובר בשכבת בסיס מידע סטנדרטית שקיימת בצורה כזו אחרת בכל ארגון.

ברוב המקרים נמצא במימד זה את כל רכיבי המידע המובנה, כלל המידע השגרתי המאפיין את פעילות הארגון ושנוצר באופן שוטף מעצם ההתנהלות העסקית היומיומית. לדוגמה, במקרה של בנק, נמצא במימד זה נתונים כגון אלה של החשבונות, הלקוחות והיחידות העסקיות.

סביבה של מאגר נתונים גדול יותר הנתמך, למשל, על ידי Hadoop

מדובר במימד השני של הפעילות, שכולל מאגר של חבילות נתונים שמאפשר פעילות ניתוח ועיבוד במסות גדולות מאוד. לרוב, כאן יבוצע חקר הנתונים לגבי מידע שנוצר באופן לא מובנה, למשל כתוצאה מכלי ניטור או ניתוח ששולבו להעשרת היקפי המידע של הארגון. לדוגמה, שילוב של כלי ניתוח טקסט או קול, שתוצאות השימוש בהם יועברו לסביבה ייעודית שיכולה לטפל בהיקפים גדולים ומורכבים. שם הם יוצלבו עם המידע המובנה משכבת הבסיס הסטנדרטית.

שני המימדים המתוארים מאפשרים בעיקר לקבל מענה לשאלות עסקיות ברורות ומוגדרות מראש, בהתאם למידע המובנה והלא מובנה שנותחו ועובדו.

Welcome 2 Data Land

המימד השלישי בפעילות הוא למעשה אינסופי. זוהי מעטפת מתקדמת של כלי עיבוד וניתוח, שיוצרת פלטפורמה ייחודית. סוג של חלל חיצון המאפשר למידענים לפעול בו תוך הצלבת מידעים ונתונים וליצור פרופילים או אבות טיפוס, לבצע אקסטרפולציות (חיוץ, קבלת ערכים לא ידועים מערכים ידועים), ליצור מחדש ולבצע מניפולציות במידע שבידיהם כדי להציף עובדות או מידעים והקשרים שכלל לא הוגדרה עבורם שאלה עסקית ברורה.

מימד חדשני זה מאפשר להציף ערך עסקי פוטנציאלי ולייצר מענה אפשרי לשאלות עסקיות שכלל לא נשאלו. הדבר נעשה, למשל, על ידי יצירת קבוצות לקוחות זהות עם מאפיינים דומים, חיפוש לקוחות אחרים, דומים להם, ובחינת פערים בפעילות העסקית של כל קבוצה.

כלומר, מימד זה מביא לפתחנו תובנה עסקית ללא שאלה מוגדרת. ההחלטה מה לעשות איתה נתונה בידינו.

לסיכום, התשובה לשאלה המסקרנת מתחילת הטור היא שעולם ה-Big Data מאפשר מחד לתת מענה לשאלה עסקית ברורה ומוגדרת מראש וברמות עומק שונות של תשובה, ומאידך להציף שאלות עסקיות חדשות לחלוטין שיש לתעדף ולדון בהן.

הכותב הינו סגן וממלא מקום ראש החטיבה הבנקאית וראש אגף הפיתוח העסקי והדיגיטל בבנק לאומי