דו"ח: סודות מערכת האיחסון של גוגל נחשפים

לא מעט פיתוחים חדשניים הבשילו במעבדות גוגל (Google), ולזכותם של מהנדסי החברה נרשמו חידושים דוגמת מנגנון העיבוד MapReduce, מערכת האיחסון המבוזרת BigTable, שפת התכנות Sawzall, מערכת הקבצים Google File System ומערכת השאילתות Google Workqueue.

כעת מצטרפת לרשימה מערכת האיחסון שתומכת, בין השאר, ביישומי Google App Engine. בגוגל משתמשים במערכת Megastore מזה מספר שנים, ולרגל ועידת CIDR (מחקרים מתקדמים בנושא מערכות מידע), שנערכה בחודש שעבר, פורסמו פרטים אודותיה.

על פי המסמך שפורסם, Megastore הותאמה לצרכים של שירותים מקוונים אינטראקטיביים ומודרניים. "המערכת משלבת בין כושר הרחבה לבין נוחות שימוש בצורה חדשנית ומעניקה עקביות, אמינות וזמינות גבוהה", נכתב במסמך. עוד צוין בו, כי יישומי האינטרנט מחייבים כושר הרחבה גבוה והפיתוח שלהם חייב להיות מהיר עקב התחרות הגבוהה בענף. המשתמשים מצפים לאספקה עקבית של נתונים ולזמינות מוחלטת.

"דרישות אלה עלולות להיות סותרות", הוסיפו הכותבים. "מסדי נתונים יחסיים מספקים תפקודים רבים ומאפשרים לפתח יישומים בקלות, אך קשה להרחיב אותם לרמה של מאות מיליוני משתמשים. מחסני נתונים דוגמת אלה של גוגל מאפשרים כושר הרחבה גבוה, אך ההיצע של ממשקי API מוגבל והעדר העקביות בין המודלים מקשה על הפיתוח. שעתוק בין מרכזי נתונים לשיפור זמן התגובה הוא משימה מאתגרת, וכך גם הבטחת העקביות בין התצוגות של הנתונים המשועתקים, במיוחד במקרי תקלה".

עוד מצוין במסמך, כי "מערכות מסחריות יקרות של מרכזי נתונים, דוגמת אלה שמציעה אורקל (Oracle), מגדילות באופן משמעותי את עלות הבעלות הכוללת בהתקנות ענן רחבות היקף".

מערכת Megastore של גוגל מסייעת לשעתק פעולות של כתיבת קבצים בצורה סינכרונית ברשתות נרחבות, תוך שמירה על זמן תגובה סביר ותמיכה במעבר לגיבוי בין מרכזי נתונים. נראה, כי המערכת מציעה את שביל הזהב בין הדרישות הסותרות לכאורה של כושר הרחבה ונוחות שימוש.

ג'יימס המילטון, סגן נשיא באמזון (Amazon) ומהנדס ידוע, התייחס במשך השנים למיעוט המידע על מערכת האיחסון Megastore, ובעקבות פרסום המסמך הביע את הערכתו לטכנולוגיה של גוגל. "הטכנולוגיה מרשימה, למרות מגבלות מסוימות", כתב המילטון בהודעה שפרסם בבלוג.

עוד צוין במסמך שפורסם, כי למעלה ממאה יישומים עושים שימוש במערכת Megastore בסביבת ייצור, וכי מרבית הלקוחות שמפעילים יישומים אלה נהנים מזמינות ברמה הגבוהה מ- 99.999%.