بعد از GPU و رم، نوبت کمبود CPU شد
هوش مصنوعیخلاصهٔ کامل‌تر
تو این شمارهٔ خبرنامهٔ Pragmatic Engineer اومده که Gergely Orosz بعد از یک شام کاری با چند CTO و مسئول زیرساخت، دیده خیلی از شرکت‌ها دیگه نمی‌تونن راحت CPU تهیه کنن و دوران تخفیف‌های چرب ابری هم تموم شده. نشانهٔ واضحش ناپدید شدن spot pricing هست، یعنی همون نرخ ارزون ماشین‌های بیکار که تا ۹۰ درصد زیر قیمت عادی بود. اون تخفیف وجود داشت چون تقاضا کم بود؛ حالا دیگه ماشین بیکاری نمونده.
به گفتهٔ Simon Eskildsen، مدیرعامل turbopuffer، گرفتن CPU دیگه ساده نیست. یادگیری تقویتی یا RL بخش بزرگی از بار کاری آزمایشگاه‌های هوش مصنوعی شده و RL برای اینکه به مدل یاد بده کاری مثل جست‌وجو رو انجام بده، باید نرم‌افزار واقعی اجرا کنه و این یعنی CPU زیاد. یکی از VPهای مهندسی تو یک شرکت بزرگ inference هم گفته حتی با پول نقد و قبول طولانی‌ترین قرارداد، جواب ابرها «ظرفیت بیشتری نداریم» بوده.
Katelyn Lesse، مسئول Platform Engineering در Claude Platform، سمت عرضه رو توضیح می‌ده: CPU از دو طرف داره فشرده میشه. AMD کارخونهٔ تولید تراشهٔ خودش رو نداره و باید از سهمیهٔ محدود TSMC استفاده کنه، همون‌جایی که GPU و تراشه‌های Apple و Qualcomm و Broadcom هم تو صفن. Intel کارخونه داره ولی با مشکل yield درگیره و بخشی از ظرفیت تراشه‌های PC رو برده سمت تراشهٔ سرور. از اون طرف DRAM هم گرون شده، چون تولید حافظه رفته سمت HBM که سود بیشتری داره.
عددها تصویر رو روشن‌تر می‌کنن. نسبت CPU به GPU تو دیتاسنترهای هوش مصنوعی از یک به هشت رسیده به حدود یک به چهار و ممکنه به یک به یک هم برسه. تحویل سفارش سرور از یک تا دو هفته رفته روی حدود شش ماه و قیمت‌ها ۱۰ تا ۲۰ درصد بالا رفته. تو شرکت‌هایی مثل Uber و Ramp، ایجنت‌ها دیگه روی لپ‌تاپ برنامه‌نویس اجرا نمی‌شن و روی اینستنس اختصاصی تو ابر می‌چرخن، پس همون ظرفیت هم باید از قبل رزرو بشه.
به گفتهٔ Katelyn، بیشتر تیم‌ها هیچ‌وقت برای CPU برنامه‌ریزی ظرفیت نکرده بودن و فقط روی تقاضا autoscale می‌کردن، ولی حالا باید compute عمومی رو هم از قبل تعهد و پیش‌بینی کنن. تا رسیدن ظرفیت جدید، پیشنهاد مقاله استفادهٔ بهتر از منابع فعلیه: مشخص کنید کدوم سرویس‌ها واقعاً CPU-intensive هستن و کدوم‌ها نیستن، و سرویس‌های کم‌مصرف رو روی نود کمتر جمع کنید تا ظرفیت آزاد شه.
نویسنده می‌گه بهترین زمان برای گرفتن ظرفیت همین حالاست. شنیده که بعضی ریجن‌های ابری دیگه مشتری جدید قبول نمی‌کنن چون همهٔ CPU اجاره رفته، و بعضی مشتری‌ها امروز پول می‌دن برای ظرفیتی که از دسامبر وارد دیتاسنتر میشه. اگه بار کاریتون نوسان داره و تا حالا به spot تکیه کرده بودین، شاید وقتشه ظرفیت ثابت بگیرین، حتی گرون‌تر. به شوخی هم اضافه می‌کنه تنها منبعی که کم نیومده، شبکه‌ست.
نکات کلیدی:
- نسبت CPU به GPU تو دیتاسنترهای هوش مصنوعی از یک به هشت به حدود یک به چهار رسیده و ممکنه به یک به یک برسه.
- تحویل سفارش سرور از یک تا دو هفته به حدود شش ماه رسیده و قیمت‌ها ۱۰ تا ۲۰ درصد بالا رفته.
- spot pricing با تخفیف تا ۹۰ درصد عملاً از بین رفته و رزرو CPU خاص باید ماه‌ها قبل انجام بشه.
- AMD به سهمیهٔ TSMC وابسته‌ست و Intel بخشی از ظرفیت تراشهٔ PC رو برده سمت تراشهٔ سرور.
- توصیهٔ مقاله: برنامه‌ریزی ظرفیت تا دوازده ماه جلوتر و جابه‌جایی از spot به ظرفیت ثابت.
