‏چطور DeepSeek V4 Flash رو با ۴ تا GPU اجرا کنیم

وقتی می‌خوای یه مدل به بزرگی DeepSeek V4 Flash رو خودت روی سخت‌افزار خودت اجرا کنی، یه GPU معمولی اصلاً کافی نیست چون حافظه VRAMش جا نمی‌شه. برای همین یه راه رایج بین بیلدرها اینه که ۴ تا کارت RTX Pro 6000 نسل Blackwell رو کنار هم بذارن و با یه پردازنده Threadripper Pro جفتشون کنن، تا هم مجموع VRAM کافی بشه هم وزن‌های مدل بین کارت‌ها تقسیم بشه.

اینجا نکته مهم اینه که خود CPU و مادربرد به اندازه GPUها اهمیت دارن. یه پلتفرم Threadripper Pro می‌تونه تا ۱۲۸ لِین PCIe 5.0 بده، یعنی هر ۴ تا GPU با پهنای باند کامل x16 کار می‌کنن، در حالی که یه مادربرد معمولی این لِین‌ها رو بین کارت‌ها تقسیم می‌کنه و سرعت رو پایین میاره. تعداد هسته‌های CPU هم مستقیم روی سرعت تولید توکن اثر نمی‌ذاره؛ بیشتر برای مدیریت چند کاربر همزمان و پردازش داده به‌کار میاد.

مصرف برق هم یه محدودیت واقعیه: هر کارت RTX Pro 6000 می‌تونه تا ۶۰۰ وات بکشه، برای همین بیلدرهایی که ۴ تا از این کارت‌ها رو با هم اجرا می‌کنن معمولاً منبع تغذیه رو به کلاس ۳۰۰۰ واتی ارتقا می‌دن. نسخه Max-Q همین کارت سقف مصرفشو ۳۰۰ وات نگه می‌داره که مدیریت گرما و برق رو خیلی راحت‌تر می‌کنه، هرچند یه‌کم از عملکرد می‌زنه.

فرمت‌های کم‌دقت‌تر مثل FP4 و FP8 هم حجم حافظه و هزینه محاسباتی هر توکن رو کم می‌کنن، برای همین معمولاً پیش‌فرض بنچمارک‌گیری روی این جور کارت‌ها هستن. برای بیشتر توسعه‌دهنده‌های مستقل، این سرمایه‌گذاری زیاده و به‌صرفه نیست؛ ولی برای تیم‌هایی که کاربر همزمان زیاد دارن یا نمی‌خوان داده‌شون بره تو کلود، ممکنه در طول زمان جای هزینه API رو در بیاره. معیار واقعی هم تست همزمانی از ۱ تا ۱۶ درخواسته، نه فقط سرعت تک‌کاربره.

نکات کلیدی:

• کارت RTX Pro 6000 Blackwell تا ۶۰۰ وات مصرف داره؛ نسخه Max-Q سقفش ۳۰۰ واته
• پردازنده Threadripper Pro تا ۱۲۸ لِین PCIe نسل ۵ می‌ده
• ریگ ۴ کارتی معمولاً به منبع تغذیه حدود ۳۰۰۰ وات نیاز داره
• فرمت‌های FP4 و FP8 حافظه و هزینه محاسباتی هر توکن رو کم می‌کنن
• معیار واقعی عملکرد، تست همزمانی از ۱ تا ۱۶ درخواسته، نه سرعت تک‌کاربره