‏چطور متا سیستم جذب داده‌های اجتماعی‌اش رو در مقیاس عظیم مهاجرت داد

متا یه سیستم جذب داده (data ingestion) داره که هر روز چند پتابایت اطلاعات از گراف اجتماعی رو به‌صورت افزایشی از MySQL می‌خونه و به انبار داده منتقل می‌کنه. این داده‌ها پایه‌ی تحلیل‌ها، گزارش‌دهی، آموزش مدل‌های یادگیری ماشین، و توسعه‌ی محصول در تمام تیم‌های شرکت هستن.

معماری قدیمی بر اساس پایپلاین‌های جداگانه‌ای بود که هر تیم خودش مدیریتشون می‌کرد. این روش در مقیاس کوچک خوب کار می‌کرد، ولی با بزرگ‌تر شدن عملیات، ناپایداری‌هایی پیدا کرد و دیگه جواب نمی‌داد. معماری جدید یه سرویس مرکزی self-managed هست که تیم‌ها نیازی به مدیریتش ندارن و در عین حال در hyperscale هم پایدار می‌مونه.