‏DGX Station یا ۸ تا RTX Pro 6000؟ برنده بستگی به مدل داره

مقاله دو تا رویکرد متفاوت برای اجرای مدل‌های بزرگ روی سخت‌افزار خودتون رو کنار هم گذاشته. DGX Station انویدیا ۲۵۲ گیگابایت حافظه HBM3e (یعنی حافظه‌ای که مستقیم کنار GPU نشسته و خیلی سریعه) با سرعت حدود ۷ ترابایت بر ثانیه داره. اگه مدل توش جا نشه، بقیه‌ش می‌ره روی ۷۴۸ گیگ حافظه LPDDR5 مشترک که حدود ۶۰۰ گیگابایت بر ثانیه سرعت داره. یعنی سریع، ولی خیلی کندتر از HBM.

طرف مقابل یه دستگاه با ۸ تا کارت RTX Pro 6000 هست. جمع حافظه GDDR7 این ۸ کارت اون‌قدر زیاده که یه مدل ۶۱۴ گیگابایتی رو کامل تو خودش جا می‌ده. ولی کارت‌ها باید از طریق PCIe Gen 5 با سرعت ۶۴ گیگابایت بر ثانیه با هم حرف بزنن که خیلی کمتر از NVLink هست. پس تو کارهایی که داده مدام بین کارت‌ها جابه‌جا می‌شه، همین ارتباط گلوگاه می‌شه.

تو تست‌ها، مدل GPT-OSS 120B که کامل تو HBM دستگاه DGX جا می‌شد، سرعت تولید خیلی بالایی داشت. ولی روی DeepSeek V4.1 Flash (یه مدل ۶۱۴ گیگی با دقت FP8) دستگاه ۸ کارته با حدود ۳۰۷ توکن بر ثانیه جلو افتاد، اونم فقط با یه اختلاف کم. نویسنده دلیلش رو معماری MoE می‌دونه، یعنی مدل‌هایی که برای هر توکن فقط بخشی از پارامترهاشون (expertها) فعال می‌شه. expertهای غیرفعال می‌تونن تو حافظه کندتر بمونن و سرعت خیلی افت نکنه.

تو مرحله prefill (یعنی پردازش اولیه پرامپت قبل از شروع تولید جواب) HBM همیشه با فاصله زیاد برنده‌ست، چون این مرحله تقریباً فقط به پهنای باند حافظه وابسته‌ست. تو تولید ویدیو هم DGX Station جلوتر بود: یه مدل کوچیک به اسم H3 کلیپ‌های ۵ ثانیه‌ای رو حدود ۲ دقیقه‌ای ساخت، اونم با صدای کمتر ولی کمی داغ‌تر.

به گفته مقاله، عدد مهم‌تر از سرعت یه چت تکی، throughput چندکاربره هست. DGX Station تو یه تست حدود ۳۸۰۰ توکن بر ثانیه در مجموع داد و با Nemotron 3 Super 12B کمی بیشتر از ۲۰۰۰ توکن. الگویی که نشون داده شد این بود که یه مدل قوی ابری مثل Claude Opus نقش مدیر رو داره و کلی مدل کوچیک لوکال کارهایی مثل نوشتن تست و scaffolding رو انجام می‌دن.

نویسنده تأکید می‌کنه این دستگاه‌ها فقط وقتی از نظر مالی می‌صرفه که تقریباً ۲۴ ساعته مشغول باشن، چون توکن‌های API ابری نسبتاً ارزونه. برای یه نفر که گاهی سؤال می‌پرسه هیچ‌کدوم منطقی نیست. برای تیمی که مدام agent اجرا می‌کنه یا داده‌ش نباید از ساختمون بیرون بره، انتخاب بستگی داره به اینکه مدل‌ها بزرگ و MoE هستن یا متوسط.

نکات کلیدی:

• DGX Station: ۲۵۲ گیگ HBM3e با حدود ۷ ترابایت بر ثانیه، به‌علاوه ۷۴۸ گیگ LPDDR5 با حدود ۶۰۰ گیگابایت بر ثانیه
• دستگاه ۸ کارته RTX Pro 6000 مدل ۶۱۴ گیگی DeepSeek V4.1 Flash رو کامل تو GDDR7 جا می‌ده، ولی ارتباط کارت‌ها از PCIe Gen 5 با ۶۴ گیگابایت بر ثانیه‌ست
• روی DeepSeek V4.1 Flash دستگاه ۸ کارته با حدود ۳۰۷ توکن بر ثانیه فقط کمی جلوتر بود
• مرحله prefill همیشه روی HBM خیلی سریع‌تره
• DGX Station تو تست چندکاربره حدود ۳۸۰۰ توکن بر ثانیه در مجموع داد
• این دستگاه‌ها فقط با استفاده نزدیک به ۲۴ ساعته از نظر هزینه منطقی هستن