اسپاتیفای: مقصر افت کیفیت، کدِ AI نبود
هوش مصنوعیخلاصهٔ کاملتر
اسپاتیفای تو یه پست مهندسی توضیح داده که رفتن سراغ توسعهی AI-assisted چه بلایی سر کیفیت سرویسش آورده. مقیاسش کم نیست: ۷۷۷ میلیون کاربر ماهانه، حدود ۱۰۰ میلیون کلاینت همزمان، ۱۱ تا ۱۲ میلیون ریکوئست بکاند در ثانیه و نزدیک ۳۰۰۰ سرویس پروداکشن. به گفتهی تیم، امسال چهار جبهه همزمان اذیتشون کرده و جالب اینکه «AI slop»، یعنی کد بیکیفیتی که مدل تولید میکنه، جزوشون نبوده.
یکی از جبههها پردازش محتواست. روزانه بیشتر از ۵۰۰ هزار آهنگ، ویدیو، پادکست و کتاب صوتی وارد میشه. تو حادثهی ۲۴ ژوئن چند چیز کوچیک با هم جمع شدن: یه جاب بچ زمانبندیشده با اپیزودهای جدید سر منابع رقابت میکرد، یه بهبود کیفیت تازه مصرف پردازش هر اپیزود رو بالا برده بود و یه باگ زمانبندی حدود ۱۰٪ از throughput رو خورده بود. اپیزودهایی که معمولاً چند دقیقهای منتشر میشن، ساعتها معطل موندن.
دو جبههی دیگه اتوماسیون و کمبود منابع بوده. فریمورک Fleet Management اسپاتیفای سالهاست تغییرهای بزرگ رو خودکار روی کل ناوگان سرویسها اعمال میکنه و تازگی یه مهاجرت Java رو تو سه روز تموم کرده، ولی امسال یه آپدیت خودکار وابستگی از همهی چکهای ایمنی رد شد و باز تو پروداکشن خراب شد و به کاربرها هم رسید. همزمان، تقاضای جهانی AI ظرفیت مازاد CPU و GPU رو کم کرده و وقتی اسپاتیفای ترافیک یه ریجن رو جابهجا میکرد، دیگه ظرفیت کافی نبود. بعد از حادثهی مه، ظرفیت رزروشدهی edge رو دو برابر کردن.
سراغ دادهها که رفتن، تصویر روشنتر شد. تو ماه اوت تعداد کل تغییرهای مرجشده نسبت به سال قبل بیشتر از دو برابر شده، از حدود ۸۱۰۰ به ۱۷۰۰۰. سهم کارهای مربوط به کیفیت و بهینهسازی هم از ۲۷٪ به ۳۱٪ رسیده، یعنی مهندسها امسال بیشتر از دو برابر سال قبل وقت مطلق روی کیفیت کد گذاشتن. گزارش FAROS 2026 از یه جهش صنعتی تو code churn خبر داده، ولی اسپاتیفای میگه تو rework rate خودش، یعنی معیاری که سنِ کدِ تغییریافته رو هم حساب میکنه، همچین جهشی نمیبینه.
تیم میگه دو تا علامت هشدار رو زیر نظر داره: پیچیدگی کد و اندازهی PRها هر دو دارن بالا میرن. قبل از AI اینها بدون شک زنگ خطر بودن، ولی حالا شاید یه PR بزرگتر فقط یعنی آدم و ایجنت با هم یه واحد کار بزرگتر رو امن تحویل دادن. به گفتهی نویسندهها، عمداً آستانهها رو دستکاری نکردن که حال خودشون بهتر بشه. جمعبندیشون اینه: AI ظرفیت تولید تغییر رو بالا برد و گلوگاه بعدی شد توانایی وارسی همون تغییر.
نکات کلیدی:
- تو بررسی حادثههای پروداکشن، کدی که AI نوشته عامل مستقیم و بااهمیت هیچ حادثهای شناخته نشد.
- تعداد PRهای مرجشده تو اوت نسبت به سال قبل از حدود ۸۱۰۰ به ۱۷۰۰۰ رسید.
- سهم کار کیفیت و بهینهسازی از ۲۷٪ به ۳۱٪ رفت و سهم نگهداری و کانفیگ از ۳۱٪ به ۲۵٪ اومد پایین.
- گزارش DORA 2025 گوگل کلاد میگه پذیرش AI با throughput بالاتر ولی پایداری تحویل پایینتر همراهه.
- بعد از حادثهی ماه مه، ظرفیت رزروشدهی edge دو برابر شد.
