‏سخت‌افزار محلی AI یا توکن ابری؛ کدوم ارزون‌تره؟

مقالهٔ MindStudio بر اساس یه دمو، دو تا دستگاه رو مقایسه کرده: یه DGX Station و یه ورک‌استیشن با هشت کارت RTX Pro 6000. حرف اصلی نویسنده اینه که سخت‌افزار محلی اولش خیلی گرونه و برق زیادی هم می‌کشه (دو تا دستگاه با هم حدود ۶۰۰۰ وات)، ولی بعدش هر توکنی که تولید می‌کنه عملاً مجانیه. توکن ابری اما با مصرف خطی بالا می‌ره. یعنی سؤال اصلی اینه که این دستگاه روزی چند ساعت واقعاً کار مفید می‌کنه.

تو این دمو کارهای واقعی اجرا شد، نه بنچمارک مصنوعی. مثلاً یه ایجنت باید یه ریپوی GitHub رو کلون می‌کرد و یه برنچ برای پشتیبانی از Windows-on-ARM می‌ساخت. یه ایجنت دیگه هم باید یه باگ مشخص تو یه ابزار بنچمارک کد رو پیدا و درست می‌کرد. همهٔ این کارها با یه لایهٔ orchestration (یعنی ابزاری که کارها رو بین چند تا مدل و دستگاه پخش و کنترل می‌کنه) به اسم Turnstone اجرا شدن و یه نقش manager و evaluator هم کار رو بررسی می‌کرد.

سرعت بیشتر به اینکه وزن‌های مدل کجای حافظه نشستن بستگی داره تا به برند. DGX Station حدود ۲۵۲ گیگ حافظهٔ HBM3e با پهنای باند حدود ۷ ترابایت بر ثانیه داره، در حالی که کارت‌های RTX Pro 6000 از طریق PCIe Gen5 با حدود ۶۴ گیگ بر ثانیه با هم حرف می‌زنن. برای همین مدل ۱۲۰ میلیارد پارامتری GPT-OSS که کامل تو HBM جا می‌شد، روی Station خیلی سریع اجرا شد.

ولی HBM محدوده. Station کلاً حدود ۷۴۸ گیگ حافظهٔ یکپارچه داره و مدل‌های بزرگ‌تر به حافظهٔ کندتر LPDDR5 با حدود ۶۰۰ گیگ بر ثانیه سرریز می‌شن. مدل‌های Mixture-of-Experts (یعنی مدل‌هایی که برای هر ورودی فقط بخشی از وزن‌هاشون فعال می‌شه) مثل نسخه‌های DeepSeek با این وضعیت کنار میان. یه مدل DeepSeek با حجم ۶۱۴ گیگ روی هر دو دستگاه اجرا شد و جالبه که کلاستر RTX یه کم جلو زد، چون کل مدل تو حافظهٔ ترکیبی کارت‌ها جا می‌شد.

به گفتهٔ نویسنده، عدد مهم سرعت چت تک‌کاربره نیست، بلکه throughput چندکاربره‌ست، یعنی وقتی چند نفر یا چند ایجنت همزمان به دستگاه درخواست می‌دن. مدل ۱۲ میلیارد پارامتری Nemotron بیشتر از ۲۰۰۰ توکن بر ثانیه داد و یه تست دیگه به حدود ۳۸۰۰ رسید. اهرم اصلی صرفه‌جویی اینه که یه مدل گرون مثل Claude Opus فقط نقش هماهنگ‌کننده یا داور رو داشته باشه و حجم اصلی کار مثل نوشتن تست و تغییرات روتین رو مدل‌های ارزون محلی انجام بدن.

برای یه برنامه‌نویس تنها که گاهی از AI استفاده می‌کنه، این سخت‌افزار نمی‌صرفه. نویسنده یه راه وسط هم پیشنهاد می‌ده: چند تا DGX Spark کوچیک (بر پایهٔ GB10) که هر کدوم Docker اجرا می‌کنن، به‌همراه یه مدل داور کوچیک، که برای یه تیم تا چهار نفر جواب می‌ده. حریم خصوصی هم مهمه: تیمی که نمی‌تونه کد اختصاصی‌ش رو به API بیرونی بفرسته، حتی با هزینهٔ بیشتر هم دلیل داره محلی کار کنه.

نکات کلیدی:

• سخت‌افزار محلی فقط وقتی می‌صرفه که تقریباً شبانه‌روز مشغول کار واقعی باشه.
• HBM3e تو DGX Station حدود ۷ ترابایت بر ثانیه پهنای باند داره، در برابر حدود ۶۴ گیگ بر ثانیه برای PCIe Gen5 بین کارت‌های RTX Pro 6000.
• مدل ۱۲ میلیاردی Nemotron تو حالت چندکاربره بیشتر از ۲۰۰۰ توکن بر ثانیه داد.
• الگوی پیشنهادی: مدل قوی ابری مثل Claude Opus به‌عنوان ناظر، مدل‌های کوچیک محلی برای کارهای روتین.
• کلاستر DGX Spark با مدل داور کوچیک برای تیم تا ۴ نفر کافیه.
• دو دستگاه دمو با هم حدود ۶۰۰۰ وات مصرف و گرما داشتن.