Big Data – מילת באזזז או צורך אמיתי?
האם פתרונות Big Data מתאימים לכל הארגונים? מהי התועלת בהם? באילו מקרים כדאי להשתמש בהם, ומתי לזנוח אותם ולהעדיף פתרונות מסורתיים יותר?
Big Data זה צמד מילים שקוראי אתר זה בוודאי שמעו. פתרונות Big Data הולכים ותופסים מקום של כבוד במערך ה-IT של ארגונים רבים, שמעוניינים לנצל את המידע שלהם בצורה יעילה וחכמה להפקת תובנות עסקיות. יחד עם זאת, פתרונות אלה מתאימים רק לחלק מהארגונים, ועל אף שהם אופנתיים ומדובר במילת באזזז, כדאי לשקול פעמיים לפני שילובם בארגון.
המסקנה שבמשפט האחרון עשויה להישמע מעט מפתיעה, אבל הנתונים מדברים בעד עצמם: על פי סקר שבוצע באחרונה על ידי NVP בקרב מנהלים בכירים ומנהלים בתחום ה-Big Data ב-50 ארגונים מובילים מרשימת הפורצ'ן 1,000 (Fortune 1,000), בעוד ש-85% מהחברות מנסות להפוך לכאלה המונעות על ידי מידע, רק 37% מתוכן מדווחות שהצליחו בכך.
הרצון בשילוב פתרונות Big Data ברור, שכן נפח המידע אדיר, והוא הולך ועולה בקצב גבוה, עם מגוון נרחב של סוגי מידע שונים. Big Data יכול להוביל לשינוי משמעותי בארגון כשהוא מיושם כהלכה וכשהוא באמת נחוץ. יחד עם זאת, פתרונות בתחום שמיושמים באופן שרירותי עלולים להשאיר את הארגון עם חורים עמוקים בכיסים, מבלי לספק את מה שהוא צריך.
הנה כמה קריטריונים, או שאלות והתשובות עליהן, שיעזרו לכם להבין האם אתם באמת צריכים Big Data בארגון שלכם:
אילו נתונים קיימים בארגון שלי ?
פרויקט Big Data מתאים מאוד כשחלק מהמידע הארגוני נמצא בקבצים חסרי מבנה מוגדר מראש. לדוגמה, ברשת סופרמרקטים, המידע לרוב יהיה טבלאי – נתונים כגון מחירים, שמות מוצרים, הזמנות, ספקים וכדומה.
לעומת זאת, כשצריכים לעבד מידע גולמי כמו לוגים של שרתי אפליקציה, מידע על משתמשים שמגיע מ-Cookies בדפדפן וכן הלאה, פתרון Big Data מקל להתמודד עם עיבוד מידע באופן דינמי.
מהי כמות המידע שמיוצרת מדי שעה?
לקוחות רבים שואלים אותנו מהו נפח המידע שמתאים לפרויקט Big Data. ובכן, אין כלל אצבע אחד שמגדיר זאת, אבל אפשר לומר מתוך ניסיון שארגון בעל עשרות מיליארדי נתונים ועשרות מיליוני פעולות עיבוד יומיות זקוק בהחלט לטכנולוגיות Big Data. לרוב מדובר בארגונים גלובליים, אך ניתן לכלול בקטגוריה זאת גם ארגונים ישראליים העוסקים בפרסום אונליין באופן גלובלי – חברות דוגמת אאוטבריין, טאבולה, מטומי וסייזמק.
אם נפח המידע שלכם הוא פחות מהיקף שכזה, נכון יותר להשתמש בטכנולוגיה מסורתית, דוגמת SQL Server ,MySQL או PostgreSQL.
מהו התקציב עבור הפתרון?
פרויקט Big Data משמעו שעות עבודה מרובות, כמו גם שרתים ומעבדים חזקים ומרובים. לא אחת אני שומע את הטענה ש-Hadoop, אחת מהטכנולוגיות המובילות בעולם זה, היא חינמית ולכן העלות בהטמעה שלה היא נמוכה. טענה זאת אינה נכונה מיסודה. אמנם, קיימת גרסה חינמית של Hadoop, אבל על מנת למצות את היכולות שלה יש להכין תשתית של שרתים חזקים, התקן אחסון יקר וצוות עובדים ייעודי – כלומר, צריך תקציב גדול.
לעומת ה-Hadoop, פתרונות מסורתיים יעלו כסף, אבל ידרשו הרבה פחות תקציב בהנחת התשתית והניהול השוטף. חשוב לציין שלקוחות רבים שפגשתי הביעו רצון להתקין Hadoop, אולם לאחר בחינה מעמיקה גילינו ביחד שאפשר להגיע לתוצאות טובות גם עם הפתרונות המסורתיים, עם כוונון עדין.
האם המידע שלי אמין?
עולם בסיסי הנתונים הקלאסי הוא נקי ועקבי – המידע ידוע מראש, מקוטלג ולרוב גם ברור ואמין. לעומת זאת, עולם ה-Big Data כולל כמויות עצומות של מידע, אך רק חלק ממנו רלוונטי ובר שימוש. סינון וניקיון המידע הם משימה שלעתים לוקחת זמן רב יותר מאיסוף המידע ומהווה אתגר משמעותי. מדובר בתהליך ארוך ומורכב שיש לקחת אותו בחשבון כששוקלים לבצע פרויקט Big Data. ככל שכמות הנתונים גדולה יותר, כך כמות הנתונים אותן יש לתחזק טרם עיבוד משמעותית יותר.
כיצד מפיקים את המירב מהפרויקט?
פרויקט Big Data מתחיל בבחירת הטכנולוגיה הרלוונטית לארגון. אחרי שהטכנולוגיה הוטמעה, ממשיכה העבודה בבניית שכבה נוספת, המפיקה מהמידע תובנות עסקיות משמעותיות לקידום העסק.
על מנת להצליח בפרויקט מעין זה ולהשיג את היעדים שלו, יש צורך לבנות צוות מקצועי, מיומן, מנוסה ומשכיל הכולל, בין היתר, אנשי Big Data, אך גם אנליסטים, מדעני נתונים, אנשי BI ואנשי IT. פתרונות Big Data הם לרוב שילוב של מספר טכנולוגיות מיצרני תוכנה שונים, שכל אחד נותן מענה לסוגיה ספציפית – אחסון המידע, ניקוי, גיבוי, ייבוא וייצוא נתונים, וכן הלאה. יש חוליות רבות בשרשרת הפרויקט – דבר שמחייב גם מנהל צוות מקצועי שיודע לתזמר את העבודה בין כל המומחים.
פרויקט Big Data הוא מורכב ומכיל ממשקים רבים. פעמים רבות, כלכלי ונכון יותר להשתמש בשירותים מקצועיים חיצוניים שמספקים מומחים מיומנים למטרה זאת, כאלה שגם יודעים לספק מניסיונם המקצועי מפרויקטים דומים להצלחת הפרויקט שלכם.
הכותב הינו סמנכ"ל Data platform ב-ואלינור.
מסכים לחלוטין עם הכתבה ורוצה להוסיף שנתקלתי במקרים שארגונים עושים בחירה לא נכונה והולכים לכיוון של ביג דטה אף על פי שטכנולוגית לא נכון להם רק בגלל הבאז שיש בשנים האחרונות סביב התחום החדש יחסית והמתפתח הזה. לימים יבינו שלקחו החלטה לא נכונה שעלתה להם ביוקר, גם במזומנים וגם באובדן של זמן יקר.