לקראת אירוע | DATABASE PLATFORM REAL TIME ANALYTIC – HP VERTICA
מאת גולן נחום, מנכ"ל חברת טווינגו ומומחה Big data
הצורך ב-BIG DATA פרץ לתודעה בשנים האחרונות מאחר וכמות הנתונים ב-DWH גדלה בצורה אקספוננציאלית בשל התובנה שניתן לשמור מידע ונתונים רבים וליצר מהם ידע וערך שמתורגמים לרווחים. ארגונים גדולים בעולם ובארץ הבינו את היתרון וערך שיש לנתונים וליכולת לנתח אותם בזמן אמת. כמות נתונים עצומה נאספת בעולם המובייל, אינטרנט, פיננסים, משחקים, רשתות חברתיות, תקשורת, קריאות מונים וביו-טכנולוגיה.
לקוחות רבים שה-DWH התבסס על בסיסי נתונים רגילים, גילו שהם לא מצליחים לעמוד במשימה של טעינות מסיביות ו/או תוך כדי הרצת שאילתות. הפתרון שהוצע להם לרכוש שרתים גדולים יותר, המון דיסקים יקרים, הוספת רישוי יקר, הוספת משאב אנושי יקר לתחזוק הנתונים – כל אלו מיצו את עצמם, ועוד לא דיברנו על צריכת אנרגיה ואיכות סביבה. בנוסף לכל הנאמר עלה צורך לטפל בנושאים נוספים, חשובים לא פחות כגון: שרידות, זמינות, אתר חליפי, תחזוקה שהלכה וגדלה, יכולת גדילה, שיפור מתמיד של שאילתות, טיפול בהיסטוריה, אגרגציות, כל נושא ה-BI הפך מורכב יותר, שאילתות רבות שרצות דקות ארוכות ולפעמים לא חזרות כלל.
פרופסור מייקל סטון-ברייקר, האיש שהמציא את רוב בסיסי הנתונים המוכרים לנו כיום, הבין שיש כאן בעיה יסודית ושבסיסי נתונים שנבנו לפני 30 שנה ומעלה לא מתאימים לצרכים של המאה ה-21. הוא תכנן ובנה מאפס את בסיס הנתונים VERTICA, שיספק מענה לבעיות הנ"ל תוך שמירה על פשטות ניהול ועלויות תפעול ותחזוק נמוכות. סטון-ברייקר החליט לבנות בסיס נתונים חדש ,לא להתבסס על שום טכנולוגיה קיימת, בסיס נתונים שיוכל לעמוד בדרישות של העשור הקרוב – VERTICA.
בסיס הנתונים VERTICA נבנה כתשתית שמאפשרת ללקוח לגדול הן מבחינת כמות הנתונים, הן מבחינת כמות המשתמשים, והן מבחינת כוח המחשוב בצורה ליניארית. המוצר נבנה בטכנולוגית GRID המאפשרת שימוש במספר שרתים סטנדרטיים עם דיסקים מקומיים כאשר הגדילה מתבצעת ע"י הוספת שרתים למערכת. המערכת עובדת בתצורת SHARE NOTHING, אין שרת MASTER, כל שרת יכול לבצע טעינות, לקבל ולהריץ שאילתות, נפילה של שרת או יותר לא מפילים את המערכת (HA מובנה).
המוצר הינו בסיס נתונים, מבוסס עמודות, שעובד ב-SQL ANSI סטנדרטי עם הרחבות בתחום ה-GIS, פונקציות אנליטיות מתקדמת. המערכת תומכת בכל כלי ה-ETL וה-BI הקיימים בשוק, כולל אינטגרציה ישירה לכלים כמו HADOOP. המוצר מכווץ נתונים כחלק אינטגראלי ועובד עליהם באופן מכווץ, כולל הרצת השאילתות, מדובר על כווץ של כ-80%-90%.
היתרון הגדול ביותר של VERTICA הינו קצב טעינות נתונים גבוה במיוחד (מעל 9 TB בשעה), ביצוע שאילתות בקצב של עד פי 1000 יותר מהר מבסיסי נתונים אחרים (כולל שאילתות COUNT DISTINCT). והכי חשוב שאפשר לבצע את שניהם במקביל ללא השפעה של טעינות על השאילתות.
הבעיות שתוארו להלן כואבות ללקוחות רבים בארץ, אשר בסיס הנתונים שברשותם חוסם אותם מלהתקדם הלאה ובכך גורר ארגון שלם אחורה בזמן. VERTICA הינו בסיס הנתונים מבוסס עמודות, המוביל בשוק הבן-לאומי, למוצר מעל 600 לקוחות מובילים בעולם, ניתן לומר ש-VERTICA עמד בכל ציפיות הלקוח עם לקוחות גדולים מאוד שלחלקם 1-10 PETA BYTE של נתונים, שנטענים בזמן אמת תוך כדי ביצוע שאילתות אנליטיות ואחרות.
חברה שרוצה לבצע הסבה של מערכת קיימת לעולם ה-BIG DATA צריכה לדעת שתהליך המיגרציה יכול להיות פשוט או מורכב וזאת כתלות בתצורת ה-DWH הנוכחי. העברת המערכת AS IS יכולה להוות חסרון ולא לאפשר לנצל את יתרונות המערכת. צריך שתהליך ה-ETL וה-STAGING יתבצעו מחוץ ל-DWH. מערכות מבוססות עמודות יכולות להביא יתרונות עצומים אם יודעים לנצל ולתכנן אותם נכון ,ולהתאים את ה-SCHEMA לתצורה האופטימאלית עבור מערכות BIG DATA .
חברת טווינגו הינה שותף של חברת HP VERTICA בישראל.
לפרטים נוספים ותאום פגישה: גולן – 052-6968112.
אתר טווינגו
ידיעות מובילות
דווקא עכשיו: כמה חברות שמגייסות עשרות ואף מאות עובדים
"כיום מדברים על 'איבר על שבב' – כבד, כליה ואפילו מוח"
אורטל ניב, מנמ"רית משרד התחבורה – פורשת
"ממר"ם היא פס ייצור להכשרת צעירים שמובילים היום את ההיי-טק"
"הדרך לאפקטיביות מבצעית עוברת בתרבות המשלבת טכנולוגיה"
