לקראת אירוע | כיצד הגידול העצום בכמות המידע הארגוני משנה את אופן השימוש בבינה עסקית וכלים אנליטיים

אתמול פרסמנו את חלקו הראשון של ראיון זה. בחלקו הראשון של הראיון סיפר אסף על תופעת ה-"Big Data" שהיא הבאזז הכי חם בתעשייה. בחלקו השני של הראיון הוא מסביר כיצד כלי BI יוכלו לסייע לארגונים להתמודד עם הבעייה.

איפה נמצא האתגר הגדול של הארגונים בכל הקשור ל-"ביג דטא"?
עם עומס עצום כזה של מידע, לא מפתיע שהסידור והניהול של כל הנתונים האלה הזורמים למערכות הפך למשימה עצומה. מערכות לניהול נתוני על נמתחות ומתרחבות על מנת לשמור על יכולת הסיווג של הנתונים ולאפשר שימוש בנתונים הגדולים. נתוני על, או "המידע על המידע שלנו", הוא תחום הצומח לא פחות מהר מהנתונים שלנו בסביבות הנתונים הגדולות. כפי שהסברתי, הנתונים הגדולים באים ממגוון רחב של מקורות. חלק ממקורות אלה דומים למקורות הנתונים המסורתיים, אבל חלק מאוד לא-מובנים ונעים במהירות המקשה לנתח אותם.

אם כן, מה הכלים להתמודדות עם האתגר הזה?
טכנולוגיות ה-BI החדשות, מאגרי המידע הגדלים והפחתת העלות והזמן הדרושים לניתוח יסייעו למאגרי ה-"ביג דטא" לדלג מעל התהום הפעורה בין חדשנות לבין אימוץ טכנולוגיה חדשה. למרות שנתונים גדולים נחשבים עדיין לטכנולוגיה בתחילת דרכה, צופים כי בשנה וחצי הקרובות היא תחצה את הגבול הדו-ספרתי מבחינת אימוץ מערכות לטיפול בה. לשם המחשה, עד כה, פחות מ-10 אחוזים מהארגונים התקינו מערכת לניהול ביג דטא.

במרכז תנועת הנתונים הגדולים יש מסגרת תוכנה פתוחה, הקרויה Hadoop, שהיא כיום הטכנולוגיה המועדפת לתמיכה באפליקציות התומכות בכלים אנליטיים המתמודדים עם היקפי נתונים הנספרים בפיטבייט באמצעות מספר רב של צומתי מחשוב. Hadoop היא מסגרת רבת עוצמה לעיבוד מערכי נתונים באשכולות  הנמצאים בצומתי Hadoop. תהליך המיפוי  והצמצום  מפצל את העבודה קודם כל באמצעות מיפוי הנתונים שהוזנו בצומתי הבקרה של האשכולות ולאחר מכן באמצעות פיתול עומס העבודה למערכי נתונים עוד יותר קטנים וביזורם רחוק יותר ברחבי אשכול המחשוב. תהליך זה מאפשר לבצע עיבוד מקבילי מסיבי, יתרון מחשובי אשר הטכנולוגיה הביאה לארכיטקטורות המערכות המודרניות. תהליך המיפוי והצמצום (MPP) מאפשר ל-Hadoop לרוץ על שרתים רגילים ולא יקרים ובכך להפחית באופן דרמתי את ההשקעה ההונית הראשונית שנדרשת בדרך כלל כדי להקים מערכת גדולה. כאשר הצמתים "מחזירים" תשובות, פונקציית הצמצום  אוספת את המידע ומשלבת אותו כדי לשגר אותו הלאה כתוצאה סופית. ביצוע משימות דומות בעבר הצריך שילובים מיוחדים מאוד של תוכנה וחומרה, מה שהציב מכשולים משמעותיים לחברות שרצו לנתח נתונים בהיקפים גדולים מאוד.

Hadoop, שנוצרה במיוחד כדי להתמודד עם אתגרי הנתונים הגדולים, מעודדת את האימוץ של הנתונים הגדולים על-ידי כמה שיותר משתמשים באמצעות סקלביליות ועלות. הפרויקטים הנוספים שצמחו סביב המסגרת מסייעים למשתמשים להתגבר על חלק מהחסרונות הראשוניים עם תכונות טובות יותר, ממשקים חכמים יותר וכלי ניהול חסונים יותר.

בסופו של דבר, אין פיתרון מושלם וגם Hadoop סובלת מחסרונות אשר נמצאים כיום בטיפול. לדוגמה, המופעים של HDFS מתקשרים עם צומת שרת יחיד. אם השרת הזה מושבת, נוצרת נקודת כשל יחידה. במקרה כזה, המופע של ה-HDFS חייב לאתחל את עצמו מהמקום שבו כשל, תוך גרימה עיכובים משמעותיים בתהליכי העבודה של המערכת.  חשוב לזכור כי ישנם עוד כלים רבים, מוכרים וטובים בשוק כמו: GreenPlum, Netezza, Exadata (Oracle), Fast track (Microsoft), Vertica. אנחנו באינטרניטי בוחנים וסוקרים את כל הכלים יתרונות/חסרונות ויודעים לתת מענה לכל ארגון בהתאם לאתגרים שבו.

האם "ביג דטא" הוא מונח שהופך לשגרה החדשה בקרב ארגונים?
מאות חברות כבר עובדות עם ביג דטא במטרה להוסיף ערך ליוזמות הבינה העסקית שלהן. נפחי מידע גדולים במערכות התומכות בניתוח במהירות גבוהה הם המגמה הבאה והם שיאפשרו מימוש מלא של פוטנציאל הבינה והניתוח העסקיים. טכנולוגיות וגישות תכנון עתירות כושר המצאה יוצרות פלטפורמות טובות יותר, ואפילו הכי טובות, עבור עומסי המחשוב הארגוניים. אפשר להצהיר בבטחה שטכנולוגיית הנתונים הגדולים תהיה חלק ממערכת הנתונים האקולוגית שתתמוך בבינה וניתוח עסקיים בהמשך הדרך.

איטרניטי תציג בכנס BI שיתקיים ביום חמישי הקרוב