לקראת אירוע HGST וקבוצת ח.י. | לינקדאין מתרחבת ל-200 מיליון משתמשים בעזרת כרטיסי פלאש PCIe של וירידנט
סיפור לקוח של וירידנט מבית HGST, המיוצגת בישראל על ידי קבוצת ח.י.
האתגר
לינקדאין (LinkedIn) היא הרשת החברתית המקצועית הצומחת בעולם, שמאפשרת לחבריה ליצור קשרים עסקיים, לחפש עבודה ולאתר לקוחות פוטנציאליים. אחרי השקת לינקדאין במאי 2003, מספר המשתמשים בה צמח לשמונה מיליון ב-2006 וזינק ליותר מ-200 מיליון ב-2012. הגידול יוצא הדופן דרש פיתוח מתמשך של הפלטפורמה והשקת מאפיינים חדשים. התשתית של לינקדאין מתחילה במערכות RISC UNIX, עם רשתות מסורתיות לאחסון ובסיסי נתונים יקרים.
כפי שמתרחש בתעשיות ווב 2.0 אחרות, העומסים על תשתיות לינקדאין מאוד לא צפויים, מאחר שאפילו עלייה קטנה במספר המשתמשים יוצרת עלייה משמעותית במידע המאוחסן, כגון בלוגים, וידיאו ותמונות. כל המידע הזה צריך להיות מעובד בזמן קצר מאוד. בנוסף, יש לחוויית המשתמש ולזמינות האפליקציות חשיבות מכרעת. שירותי החברה חייבים להיות זמינים 24 שעות ביממה 365 ימים בשנה, ואת כל אלה היה צריך להשיג בעלות הנמוכה ככל שאפשר.
היה ברור ללינקדאין כי תשתית המידע שלה לא יכולה להתרחב ללא שיפוץ כולל. החברה נדרשה לעבור לארכיטקטורה של מערכות פתוחות, המאפשר את הגמישות להתרחב, להפעיל אפליקציות לפי צרכים עסקיים ולספק תגובה מהירה עבור מיליוני המשתמשים הפעילים בו זמנית.
הפתרון
לינקדאין מטפלת ב-120 מיליארד קישורים בין פרופילים מדי יום, כשהיא נדרשת לחישוביות בהיקף גדול של כמות נתונים עצומה. עמידה בצרכים אלה דורשת ארכיטקטורת אחסון שיכולה לספק קצב IOP (תהליכי קריאה וכתיבה לדיסק) גבוה, השהייה נמוכה ואת היכולת למקסם את יכולת המיחשוב של השרת באמצעות הצמדה שלו לאחסון ברמה גבוהה.
לינקדאין שקלה מעבר לטכנולוגיית הפלאש (SSD) החדשה ובחרה ב-Virident FlashMAX ממגוון סיבות, בהן היכולת לספק ביצועים חזקים יותר תוך מיצוי גבוה יותר של השרת. FlashMAX נמצא בנוסף יעיל יותר תפעולית, כשהוא מספק אחסון עתיר ביצועים בתוך השרת וקרוב ל-CPU, ללא צורך בחלקים מכאניים נעים. בנוסף, FlashMAX מספק את ה-IOP ואת ההשהיה הנדרשים כדי לקיים שימוש באפליקציות עסקיות. כמו כן, לינקדאין ביקשה להשתמש בטכנולוגיית הפלאש האמינה ביותר באותו זמן. ההפעלה הראשונית כללה מעבדי Flash SLC (תא ברמה בודדת) שמציעים ביצועי כתיבה החשובים עבור אפליקציות קריטיות. המאפיין החשוב ביותר שסיפקה וירידנט (Virident) היה יכולת ה-RAID על הכרטיס, שתומכת בגיבוי מלא למעבד.
תמיכה בפתרון מקצה לקצה
ב-2010 עבד הצוות של וירידנט בשיתוף לינקדאין כדי להבין את היתרונות הטמונים בביצועים, ההשהיה והעלויות של פלאש. השותפות הטכנית ההדוקה בשלבים המוקדמים, יחד עם ביצועים טכנולוגיים ללא תחרות, אמינות משופרת וזמינות של נתוני פלאש בעל מודעות ל-RAID, היו נקודות מרכזיות בבחירה של וירידנט כשותפה. לינקדאין החלה עם רכישה של 10 כרטיסים כדי לבחון את היכולות בסביבה הייחודית שלה.
לאחר שנה של שימוש, לינקדאין הרגישה כי טכנולוגיית הפלאש של וירידנט מתאימה להפעלה ברמת אנטרפרייז. מאז ההנפקה של לינקדאין ב- 2011, מספר המשתמשים בה צמח ליותר מ- 130 מיליון. לינקדאין העריכה כי טכנולוגיית הפלאש MLC (תא מרובה שכבות) החדשה יותר הייתה זמינה, וחשה כי היא עונה על הצרכים הגוברים שלה. MLC של וירידנט הציעה שילוב טוב בין ביצועים, עמידות ואמינות, במחיר נמוך יחסית.
"כאשר הטמענו את טכנולוגיית הפלאש MLC החדשה יותר, היעד שלנו היה לנצל את יתרונות הביצועים, ההשהיה ועלויות האחזקה על גבי התשתית הקיימת שלנו", אמר סונו ניאר, מנהל בכיר לפעילות ייצור בלינקדאין. "התרשמנו מיידית מהתמיכה של וירידנט, כשהיא הציגה את הטכנולוגיה החדשה לצוות שלנו. ברגע שהוטמעה במלואה, חווינו IOP גבוה, השהייה נמוכה ואת היכולת למקסם את יכולות המיחשוב של השרת. אלה הוכיחו לנו שקיבלנו את ההחלטה הנכונה".
צעדים להפעלה רחבה
לינקדאין הפעילה בראשונה את FlashMAX באפליקציות המשרד האחורי שלה. ברגע שהשתכנעה מביצועי המוצרים והתוצאות, לינקדאין החליטה להפעיל את FlashMAX באחת מהאפליקציות החיוניות לעסקים, הפועלות על בסיס נתונים מבוזר – פרויקט "וולדמורט". בנקודה זו, האחסון של וירידנט עמד בקו הראשון, כשהוא תומך באפליקציות שיש להן השפעה ישירה על חוויית המשתמש באינטרנט. לדוגמה, FlashMAX אפשר מאפיינים כגון "מי צפה בפרופיל שלי", שמייצר עומסי עבודה גבוהים בכתיבה לזיכרון.
אפליקציות אחרות בקו הראשון המתרחב של לינקדאין היו מאתגרות במידה דומה, כגון אלה המשמשות ל-"מצא פרופילים דומים". מערך כלל הפרופילים הוא גדול מאוד ואפילו מערך משני וצנוע של כל צמדי הפרופילים הוא די עצום. גם אפליקציות אחרות שנדרשו לטפל במאות מיליוני קריאות וכתיבות ביום הועברו לאחסון של וירידנט. במקביל, לינקדאין הגדילה את כמות המידע שהיא מאחסנת.
פרויקט וולדמורט היה נקודת מפתח לצמיחה עבור החברה. נעשה שימוש בפלאש של וירידנט כדי לייצר את קצבי הקריאה/כתיבה הטובים ביותר מבסיסי הנתונים, וכדי להשיג איחוד שרתים באמצות אספקה של יותר מ-1 טרה של פלאש עבור כל שרת. מאות יחידות של וירידנט הופעלו לרוחב כל שרתי וולדמורט – תהליך שלקח יותר משישה חודשים. מעורבות טכנית מתמשכת ועמוקה יותר, כמו גם שיתוף ידע, היו משמעותיים להצלחת הפרויקט.
"פלאש משנה את פני מרכז הנתונים ו-וירידנט מובילה את המעבר לפלטפורמת הפלאש", אמר מייק גוסטפסון, סגן נשיא בכיר ומנכ"ל חטיבת תוכנה ופתרונות עסקיים ב-HGST. "לינקדאין אימצה את המעבר לפלאש והיא מייצרת הצהרה לגבי העובדה כי עתיד מרכז הנתונים ירוויח מפלטפורמת פלאש בצד שרת".
אודות קבוצת ח.י.
קבוצת ח.י. הינה אחת הקבוצות המובילות בארץ ליבוא ושיווק מוצרי חשמל, אלקטרוניקה ותקשורת. הקבוצה מאגדת בתוכה מס' חברות הפועלות בתחומים שונים: שיווק מוצרי אלקטרוניקה וחשמל, שיווק רכיבים לתעשייה, שיווק מוצרי תקשורת וכן חברת שירות ולוגיסטיקה. ח.י. רכיבים מפיצה את פתרונות HGST בישראל.
