דירה להשכיר: Spotify עוברת ל-Google Cloud Platform

לא בכל יום עוברת חברה של יותר מ-75 מיליון משתמשים מתשתיות המפותחות עצמאית לענן. Google Cloud Platform הודיעה אמש כי החוויה המוסיקלית של משתמשי Spotify תועבר במהלך השבועות הקרובים על גבי פלטפורמת הענן שלה.

Spotify שואפת להפוך את המוסיקה למיוחדת עבור כולם. כיום, החברה מארחת למעלה משני מיליארד פלייליסטים, ומעניקה לצרכנים גישה ליותר מ-30 מיליון שירים. משתמשים יכולים לחפש מוזיקה מכל מכשיר לפי אמן, אלבום, ז'אנר, רשימת השמעה או חברת תקליטים.

עד עתה מהנדסי השירות הפעילו את תשתיות הליבה של החברה במרכזי נתונים ולשם כך רכשו או שכרו חומרה ורשתות כדי לספק חוויה חלקה עבור המשתמשים. אלא שפעם אחר פעם עלתה השאלה האם משאבי החברה יכולים להיות מנוצלים בצורה טובה יותר, באופן שיאפשר להפנות יותר מאמצים לפיתוח חדשנות ושירותים חדשים במקום לאחזקה של תשתיות.

לאחר בדיקה מעמיקה, החליטה Spotify לצאת ממרכזי הנתונים ובחרה בתשתיות הענן של גוגל (Google ). החברה פיצלה את ההגירה שלה לפלטפורמת ענן לשני מישורים: מסלול שירותים ומסלול נתונים. Spotify מפעילה את שירותיה על מספר רב של microservices זעירים שחלקם עוברים ממרכזי נתונים לענן באמצעות מערך האחסון בענן של גוגל, Compute Engine ומוצרים נוספים של החברה.

לקבל תשובות בתוך דקות במקום שעות

בעזרת מנוע החישוב של גוגל, צוותי Spotify יכולים להסתמך על ביצועים עקביים מ-SSD IOPS אולטרה גבוהים ויכולות אחסון SSD מקומי. בעזרת autoscaling הם יכולים לבנות יישומים גמישים וחסכוניים המשתמשים בכמות הנכונה של המשאבים הדרושים בכל זמן נתון. עבור מערך האחסון שלה, Spotify מיישמת את Google Cloud Datastore ואת Google Cloud Bigtable. מארג שירותי האחסון הללו מאפשר למהנדסים לעבוד על יישומים לוגיים מורכבים, במקום להתמקד על איך לאחסן את הנתונים ולתחזק מסדי נתונים. בנוסף, החברה פורסת את שירותי הנטוורקינג של גוגל , הכוללים את Direct Peering, Cloud VPN ו-Cloud Router, המאפשרים להעביר פטה-בייטים של נתונים.

במישור הנוסף בפרויקט, של ניהול הנתונים, Spotify מאמצת טכנולוגיה חדשה לחלוטין הכוללת מעבר מ-Hadoop ,MapReduce ,Hive וסדרת כלי דאשבורד מתוצרת עצמית, לאימוץ כלי עיבוד נתונים כגון Google Cloud Pub/Sub, Google Cloud Dataflow, Google BigQuery ו-Google Cloud Dataproc.

השימוש ב-BigQuery ו-Cloud Dataproc מאפשר לצוותי דטה להריץ שאילתות מורכבות ולקבל תשובות בתוך דקות במקום שעות. זה מאפשר ל-Spotify לבצע ניתוח אינטראקטיבי מעמיק בתכיפות רבה יותר, תוך ליווי פיתוח המוצר. כדי לאסוף ולהעביר את כל האירועים לאקו-סיסטם של החברה, Spotify משתמשת ב-Cloud Pub/Sub, מה שמאפשר לצוותים את היכולת לעבד מאה אלף מסרים בשנייה באופן אמין.