‏وقتی چهار تا GPU می‌خوای، بازار غیب می‌شه

دیو فریدمن تو یادداشتش یه نکتهٔ ساده ولی مهم رو باز می‌کنه: نرخ سرتیتری اجارهٔ GPU با قیمت پردازشی که واقعاً به‌دردت می‌خوره یکی نیست. تو نمونه‌ای که از بازار Vast.ai گرفته، یه H200 حدود ۳.۹۳ دلار به ازای هر GPU-ساعت اجاره می‌شه و ظاهرش این حس رو می‌ده که کافیه نرخ رو در تعداد کارت و ساعت ضرب کنی. ولی آموزش مدل، fine-tuning و اینفرنس پرتوان به چند GPU یکسان و هم‌مکان با اینترکانکت مناسب و پنجرهٔ دسترسی به‌اندازه‌کافی طولانی نیاز دارن — و هشت GPU-ساعت پراکنده جای یه ساعت روی هشت کارت کنار هم رو نمی‌گیره.

روش کارش اینه که فقط پیشنهادهای on-demand تأییدشده، قابل اجاره، با دسترسی حداقل هفت‌روزه و میزبانی با امتیاز پایداری ۹۹٪ به بالا رو نگه داشته، و بعد بر اساس ماشین فیزیکی حذف تکراری کرده تا بسته‌های مختلف روی یه دستگاه دوباره شمرده نشن. نتیجه ۳۷ ماشین و ۹۳ کارت روی پنج مدل شتاب‌دهنده بوده: A100 SXM4، H100 SXM، H200، B200 و L40S. بعد پرسیده چقدر از این عرضه می‌تونه درخواست یک، دو، چهار یا هشت کارت یکسان رو جواب بده.

یافتهٔ اصلی اینه که عرضه قبل از قیمت تموم می‌شه. تو H200 رفتن از یک به دو کارت ۹۲٪ موجودی رو واجد شرایط نگه می‌داره با تقریباً همون قیمت؛ تو چهار کارت موجودی به ۵۰٪ می‌رسه و قیمت فقط ۴٪ بالا می‌ره (از ۳.۹۳ به ۴.۰۸ دلار)؛ و تو هشت کارت هیچی باقی نمی‌مونه. H100 فقط تا دو کارت جواب می‌ده و B200 هم همین‌طور. A100 استثناست و مثل انتظار رفتار می‌کنه: ماشین هشت‌کارته وجود داره ولی قیمت از ۰.۶۰ به ۱.۲۹ دلار می‌ره، یعنی ۱۱۴٪ حق‌بیمهٔ هم‌مکانی.

جمع‌بندی نویسنده اینه که پردازش به جای قیمت، از راه پیکربندی و دسترس‌پذیری جیره‌بندی می‌شه. یه بازار می‌تونه صدها GPU-ساعت داشته باشه و خریدار همچنان نتونه از توش یه کلاستر کارآمد بچینه، چون قید واقعی نسل سخت‌افزار، هم‌مکانی، شبکه، پایداری، مدت رزرو، CPU، استوریج و جغرافیاست. وقتی پیکربندی مناسب نیست، کمبود اصلاً به قیمت تبدیل نمی‌شه — معامله فقط انجام نمی‌شه. برای همینه که خریدارهای بزرگ سراغ قراردادهای دوطرفهٔ ظرفیت می‌رن و مازادشون سر از این بازارها درمیاره.

پیامدی که براش مهمه بحث مشتقات پردازشه. به گفتهٔ اون، اولین قراردادهای آتی احتمالاً روی GPU-ساعت استاندارد تسویه می‌شن، ولی شرکتی که با خرید futures روی H100 می‌خواد نیاز آیندهٔ چهار یا هشت کارتی‌ش رو پوشش بده، ریسک پایه (basis risk) واقعی داره: هج در برابر گرون‌شدن H100 کار می‌کنه ولی کاری به نبود ظرفیت هم‌مکان نداره — پوشش سود می‌ده و کار اجرا نمی‌شه. پیش‌بینیش اینه که بازار پردازش هم مثل بازار انرژی چیزی شبیه «بیس مکانی» می‌سازه، این بار حول توپولوژی: GPU-ساعت عمومی در مرکز و قرارداد یا حق‌بیمهٔ جدا برای اندازهٔ کلاستر، کیفیت اینترکانکت، منطقه و تضمین دسترسی.

خودش هم محدودیت‌های کار رو صریح می‌گه: Vast.ai یه بازار واحده، فهرست‌هاش پیشنهاد آگهی‌شده‌ان نه معاملهٔ انجام‌شده، و بعضی تخمین‌های کلاسترهای بزرگ به چند ماشین معدود تکیه دارن. ولی الگوی دسترس‌پذیری با تغییر آستانهٔ پایداری بین ۹۸ تا ۹۹.۵٪ هم پابرجا مونده؛ و به تعبیر خودش کوچیک‌بودن نمونه بخشی از حرفه: یه قیمت سرتیتری می‌تونه روی بازاری ظاهراً فعال بشینه در حالی که بازارِ یه پیکربندی مشخص و قابل استفاده تقریباً خالیه.

نکات کلیدی:

• نرخ سرتیتری GPU-ساعت با قیمت پردازش قابل استفاده یکی نیست
• H200: چهار کارت یکسان نصف عرضه رو حذف می‌کنه، هشت کارت اصلاً موجود نیست
• A100 تنها موردیه که کمبودش به قیمت تبدیل شده؛ ۱۱۴٪ حق‌بیمهٔ هم‌مکانی
• جیره‌بندی از راه پیکربندی و دسترس‌پذیری اتفاق می‌افته، نه قیمت
• خریدارهای بزرگ به قراردادهای دوطرفهٔ ظرفیت تکیه می‌کنن
• قراردادهای آتی روی GPU-ساعت استاندارد، ریسک پایهٔ جدی برای نیاز کلاستری دارن