‏چرا هزینه‌ی اجرای مدل هوش مصنوعی از آموزشش بیشتره

تو این مقاله اومده که اگه کل عمر یه مدل رو حساب کنیم، inference (یعنی اجرای مدل برای جواب دادن به درخواست‌ها) خیلی بیشتر از آموزش پردازش مصرف می‌کنه. آموزش DeepSeek V3 حدود ۲.۸ میلیون ساعت GPU از نوع H800 گرفته. ولی همین مدل هر روز حدود ۴۳ هزار ساعت H800 فقط برای سرویس دادن مصرف می‌کنه. یعنی تو یه سال حدود ۶ برابر و تو دو سال حدود ۱۲ برابر آموزش.

نویسنده می‌گه این یه ویژگی ساختاریه، نه یه اتفاق خاص DeepSeek. هزینه‌ی آموزش ثابته و یه بار خرج می‌شه، ولی هر چی مدل محبوب‌تر بشه حجم درخواست‌ها بالاتر می‌ره. برای همین نویسنده معتقده بنچمارک‌ها نباید مثل مقاله‌ی Chinchilla مدل‌ها رو با پردازش آموزش ثابت مقایسه کنن. بهتره پردازش inference رو ثابت نگه دارن. مدلی که آموزشش یه کم گرون‌تره ولی ارزون‌تر جواب می‌ده، تو دنیای واقعی انتخاب بهتریه.

اجرای مدل دو مرحله داره. اول prefill که یعنی پردازش پرامپت اولیه، و اگه قبلاً پردازش شده باشه می‌شه از کش استفاده کرد. بعد decode که یعنی تولید خروجی توکن به توکن. MFU (یعنی چند درصد از توان اسمی GPU واقعاً استفاده می‌شه) تو prefill حدود ۵۰ درصده ولی تو decode تا حدود ۵ درصد پایین میاد. چون decode به پهنای باند حافظه گیر داره، نه به توان محاسباتی. برای همین بیشتر کار مهندسی روی decode متمرکزه.

عددهای عمومی هم همینو نشون می‌دن. throughput بخش prefill بدون کش حدود ۶۰ هزار توکن در ثانیه برای هر GPU‌ه. با نرخ کش حدود ۹۶ درصد، این عدد تا حدود ۱.۵ میلیون توکن در ثانیه می‌ره. ولی decode حدود ۱۴ هزار توکن در ثانیه می‌مونه که گلوگاه اصلیه. تیم‌ها معیارهایی مثل time to first token، time per output token، throughput و goodput (یعنی throughputی که واقعاً به هدف سرویس می‌رسه) رو دنبال می‌کنن.

نویسنده راه‌های کم کردن هزینه رو سه دسته می‌کنه. سطح مدل: MoE (یعنی فقط بخشی از متخصص‌ها برای هر توکن فعال می‌شن)، مدل‌های SSM، multi-headed latent attention، کوانتیزه کردن و distillation. سطح کرنل و runtime: flash attention، paged attention (یعنی مدیریت KV cache مثل صفحه‌بندی حافظه‌ی مجازی) و radix attention برای استفاده‌ی دوباره از پیشوندهای مشترک. سطح harness: مسیریابی سؤال‌های ساده به مدل کوچیک‌تر، speculative decoding (یعنی یه مدل کوچیک توکن پیشنهاد می‌ده و مدل بزرگ تأییدش می‌کنه) و مدیریت و خلاصه کردن context.

به گفته‌ی مقاله، حاشیه‌ی سود ناخالص حدود ۸۰ درصدی DeepSeek بیشتر از همین مهندسی inference میاد، نه از قیمت سخت‌افزار. مثلاً گفته می‌شه DeepSeek کش context رو حدود ۷۲ ساعت نگه می‌داره که نرخ کش رو بالا می‌بره. شکل کار هم مهمه: یه coding agent که مدام روی یه context کار می‌کنه خیلی ارزون‌تر از یه چت‌بات عمومی درمیاد که کاربرهاش هی گفتگوی جدید شروع می‌کنن.

نکات کلیدی:

• آموزش DeepSeek V3 حدود ۲.۸ میلیون ساعت H800 و سرویس‌دهیش روزی حدود ۴۳ هزار ساعت H800 مصرف می‌کنه.
• پردازش inference تو یه سال حدود ۶ برابر و تو دو سال حدود ۱۲ برابر آموزشه.
• MFU تو prefill حدود ۵۰ درصد و تو decode حدود ۵ درصده.
• throughput بخش decode حدود ۱۴ هزار توکن در ثانیه برای هر GPU‌ه و گلوگاه اصلی سرویس‌دهیه.
• نگه داشتن KV cache به مدت حدود ۷۲ ساعت به حاشیه‌ی سود حدود ۸۰ درصدی DeepSeek کمک کرده.