‏Prime Inference: سرو سریع مدل‌های متن‌باز برای ایجنت‌ها

تیم Prime Intellect تو این پست از Prime Inference رونمایی کرده؛ سرویسی برای سرو کردن مدل‌های متن‌باز بزرگ که هم endpointهای serverless داره و هم ظرفیت رزروی. به گفتهٔ تیم، این پلتفرم اول برای نیاز خودشون ساخته شد: rolloutهای RL، تولید دیتای مصنوعی و ایجنت‌های کدنویسی که روزی نزدیک یه تریلیون توکن پردازش می‌کنن. API‌ش سازگار با OpenAI هست، یعنی کافیه SDK فعلیت رو به endpoint اونا وصل کنی. اولین مدل عمومیش GLM-5.3 هست که از ۲۲ سپتامبر روی OpenRouter فعاله.

ترافیک ایجنت‌ها یه الگوی خاص داره: هر نوبت حدود 6K توکن به یه پرامپت 140K توکنی اضافه می‌کنه. برای همین تیم prefill (یعنی پردازش اولیهٔ کل پرامپت) و decode (یعنی تولید توکن‌به‌توکن جواب) رو روی گروه‌های جدای GPU اجرا می‌کنه. NVIDIA Dynamo مسیریابی رو انجام می‌ده و vLLM مدل رو اجرا می‌کنه. به گفتهٔ تیم، این جداسازی p90 تأخیر بین توکن‌ها رو نزدیک ۴۰ درصد کم کرده.

یه بخش مهم، KV cache هست؛ یعنی حالت محاسبه‌شدهٔ توکن‌های قبلی که اگه نگهش داری، لازم نیست دوباره حسابش کنی. روتر Dynamo درخواست رو به workerی می‌فرسته که بیشترِ پرامپت رو از قبل کش کرده، و Mooncake یه لایهٔ کش دوم تو DRAM سرور اضافه می‌کنه. تیم اندازهٔ هر مرحلهٔ prefill رو از 8K به 4K توکن کم کرد. نتیجه این شد که زمان انتظار میانه تو صف از 550ms به 110ms رسید و زمان رسیدن اولین توکن حدود ۲۰ درصد کمتر شد.

برای decode، تیم کش MLA رو با فرمت NVFP4 (یعنی ۴ بیت برای هر مقدار) فشرده کرده. اندازهٔ هر ردیف کش از 576 به 352 بایت رسید و ظرفیت کش هر decoder حدود ۵۰ درصد بیشتر شد، از 1.09 به 1.63 میلیون توکن. یه kernel اختصاصی هم نوشتن که داده‌های فشرده رو همون داخل چیپ باز می‌کنه و دارن به FlashInfer اضافه‌ش می‌کنن. به گفتهٔ تیم، تست‌های long-context افت دقتی نشون ندادن.

انتقال KV از prefill به decode روی NVLink اولش حتی از InfiniBand کندتر بود، چون به هزاران کپی کوچیک خرد می‌شد. با چیدمان BLHNC (که دادهٔ یه بلوک از چند لایه رو کنار هم می‌ذاره) تعداد descriptorها حدود ۱۰ برابر کم شد و میانگین زمان انتقال از 146 به 78 میلی‌ثانیه رسید. برای فراخوانی ابزار هم یه structural-tag builder به Dynamo اضافه کردن تا مدل فقط اسم‌ها و آرگومان‌هایی رو تولید کنه که با تعریف ابزار جور درمیان.

نکات کلیدی:

• اولین مدل عمومی Prime Inference، GLM-5.3 روی OpenRouter هست که از ۲۲ سپتامبر با uptime صد درصد کار می‌کنه.
• استک سرویس از NVIDIA Dynamo، vLLM، Mooncake و FlashInfer ساخته شده و روی NVIDIA Blackwell اجرا می‌شه.
• با نسبت 1:4 برای prefill به decode، هر گروه prefill به ۶۶ نشست با سرعت 101 توکن بر ثانیه برای هر کاربر می‌رسه.
• فشرده‌سازی NVFP4 ظرفیت KV cache رو حدود ۵۰ درصد بالا برده.
• چیدمان BLHNC زمان انتقال KV رو حدود ۴۷ درصد کم کرده.
• inference دسته‌ای و استقرار مدل‌های fine-tune شده روی ظرفیت اختصاصی تو نقشهٔ راهه.