‏HP ZGX Fury: یه ایستگاه هوش مصنوعی برای کل تیم

HP ZGX Fury G1 AI Station نسخه HP از طرح مرجع DGX Station انویدیاست. قلبش چیپ GB300 با معماری Blackwell Ultra هست، کنار یه CPU مدل Grace با ۷۲ هسته، و ۲۰ پتافلاپ توان پردازشی هوش مصنوعی تو دقت FP4 داره. فرقش با دستگاه‌های شخصی مثل DGX Spark یا ZGX Nano اینه که قراره کنار میز یا تو رک سرور بشینه و همزمان به کل یه تیم inference بده (یعنی اجرای مدل برای جواب دادن به درخواست‌ها).

به گفته مقاله، مهم‌ترین تصمیم طراحی اینه که بین ظرفیت حافظه و سرعتش یکی رو فدا نکرده. معمولاً یا حافظه unified داری که زیاده ولی کنده (مثل DGX Spark)، یا کارت گرافیک جدا که سریعه ولی حدود ۹۶ گیگ سقف داره (مثل RTX Pro 6000). Fury در کل ۷۴۸ گیگ حافظه داره که ۲۵۲ گیگش HBM با سرعت ۷.۱ ترابایت بر ثانیه‌ست، یعنی نزدیک چهار برابر پهنای باند ۱.۸ ترابایتی RTX Pro 6000. بقیه‌ش حافظه مشترک بین CPU و GPU هست که جا برای مدل‌های خیلی بزرگ می‌ده. سیستم خنک‌کاری مایع داره و دوتا پورت شبکه ۴۰۰ گیگابیتی برای وصل کردن چندتا دستگاه به هم.

سمت نرم‌افزار، طبق مقاله HP تنها شریکیه که اجازه داره چیزی روی طرح مرجع انویدیا اضافه کنه. مهم‌ترینش ZRT (HPZ Runtime) هست، یه ابزار خط فرمان که مدل رو از Hugging Face می‌کشه، برای سرو کردن با vLLM تنظیمش می‌کنه، لودش می‌کنه و یه endpoint برای کل تیم بالا میاره. با zrt serve مدل سرو می‌شه، با zrt chat می‌شه سریع تستش کرد، و بنچمارک داخلیش زمان رسیدن اولین توکن، توکن بر ثانیه و رفتار زیر بار همزمان رو گزارش می‌ده. یه افزونه VS Code هم هست. سیستم‌عامل پیش‌فرض Ubuntu هست ولی Fury اولین ایستگاه GB300 با گواهی Red Hat Enterprise Linux هم هست که تو دیتاسنترهای سازمانی رایجه.

HP با Infinity AI یه quantization اختصاصی (یعنی فشرده‌سازی وزن‌های مدل با دقت پایین‌تر) از مدل Nemotron Super انویدیا ساخته که مخصوص همین چیپ تنظیم شده. نتیجه، طبق دمو، تقریباً دو برابر شدن تعداد کاربر همزمان و throughput کل روی همون سخت‌افزاره، بدون اینکه سرعت هر کاربر کم بشه. تو تست‌ها سیستم بیشتر از ۳۰۰۰ توکن بر ثانیه در مجموع داده، تو یه تست RAG با ۱۶ کاربر همزمان بالای ۱۳۰۰ توکن بر ثانیه نگه داشته، و با ۶۴ کاربر شبیه‌سازی‌شده روی مدل ۳۰B فلش Qwen3 تو چند دقیقه بیشتر از ۵۰۰ هزار توکن تولید کرده.

ایده اصلی، به گفته مقاله، کنار گذاشتن «یه دستگاه برای هر نفر» هست: یه ماشین مشترک که همزمان چند نفر روش inference بگیرن، چندتا agent پس‌زمینه اجرا بشه و یکی هم fine-tune کنه. این برای صنایع حساس مثل سلامت، دولت، تولید و امنیت سایبری جذابه که نمی‌خوان داده رو به API بیرونی بفرستن یا می‌خوان کنترل guardrailها دست خودشون باشه. برای خرید شخصی مناسب نیست، ولی چون همون چیپ GB300 NVL72 دیتاسنترهاست، کاری که تیم روش نمونه‌سازی می‌کنه بعداً با دوباره‌کاری کمتری به محیط production می‌ره.

نکات کلیدی:

• چیپ GB300 (Blackwell Ultra) با CPU مدل Grace ۷۲ هسته‌ای و ۲۰ پتافلاپ در FP4.
• ۷۴۸ گیگ حافظه کل که ۲۵۲ گیگش HBM با سرعت ۷.۱ ترابایت بر ثانیه‌ست.
• ابزار ZRT مدل رو از Hugging Face می‌گیره و با vLLM سرو می‌کنه.
• اولین ایستگاه GB300 با گواهی Red Hat Enterprise Linux.
• quantization اختصاصی Nemotron Super تعداد کاربر همزمان رو حدوداً دو برابر کرده.
• بیشتر از ۳۰۰۰ توکن بر ثانیه در مجموع و پشتیبانی از ۶۴ کاربر همزمان تو تست‌ها.
• دوتا پورت شبکه ۴۰۰ گیگابیتی برای وصل کردن چند دستگاه به هم.