Cerebras پردازش پرامپت رو داد دست GPU
خلاصهٔ کاملتر
Cerebras اعلام کرده disaggregated inference رو تو محیط production راه انداخته. یعنی دو مرحلهٔ اجرای یه درخواست روی سختافزارهای جدا انجام میشه: prefill (یعنی پردازش پرامپت ورودی و ساختن state میانی مدل) روی GPUهای AMD Instinct، و decode (یعنی تولید توکنهای خروجی یکییکی) روی سیستمهای CS-3 خود Cerebras. به گفتهٔ شرکت، این ترکیب پنج برابر throughput به ازای هر مگاوات نسبت به حالتی که فقط CS-3 کار میکرد میده، بدون اینکه سرعت تولید توکن کم بشه.
دلیل این تقسیم کار، ماهیت decode هست. decode خودبازگشتیه، یعنی مدل هر بار یه توکن میسازه و اونو ورودی قدم بعد میکنه. هر قدم یعنی خوندن دوبارهٔ دادههای مدل از حافظه، پس پهنای باند حافظه خیلی مهمه. چیپهای Cerebras به اندازهٔ یه ویفر کامل هستن و دهها گیگابایت SRAM روی خود چیپ دارن. شرکت میگه این ۳۵۰ برابر ظرفیت SRAM و ۵۴۰۰ برابر پهنای باند حافظهٔ یه GPU معمولی GB300 هست. ولی prefill بیشتر به قدرت محاسباتی نیاز داره، و GPUها برای این کار مناسبترن.
Cerebras میگه تقاضا برای inference سریع، بهخاطر اپهای ایجنتی مثل Codex و Copilot، خیلی سریعتر از ظرفیت دیتاسنترها داره بالا میره و محدودیت اصلی برقه. برای همین معیار مهم براشون توکن به ازای هر مگاواته. عدد پنج برابر از endpoint اشتراکی مدل GPT-OSS-120B روی Cerebras Inference Cloud اندازه گرفته شده. برنامهشون اینه که تا آخر ۲۰۲۷ این روش رو روی صدها مگاوات ظرفیت پیاده کنن.
شرکای زیرساختی هم میتونن از این راهکار استفاده کنن و دو مسیر دارن. اول پشتهٔ نرمافزاری کامل، که برای رسیدن سریع به بازار مناسبه. این پشته شامل یه فریمورک برای مسیریابی درخواستها بین prefill و decode، یه موتور prefill بر پایهٔ vLLM یا SGLang، موتور decode خود Cerebras و نرمافزار KV Portal هست. KV Portal یعنی رابطی که KV cache رو از طریق RDMA بین این دو بخش جابهجا میکنه. مسیر دوم SDK فقط-decode هست برای کسایی که میخوان کنترل بیشتری داشته باشن و فریمورک و موتور prefill خودشون رو بیارن.
شرکای دسترسی زودهنگام مثل Amazon Web Services، Fireworks AI، Gimlet Labs و General Compute الان به این راهکار دسترسی دارن و Cerebras داره دسترسی رو برای شرکای بیشتری باز میکنه.
نکات کلیدی:
- prefill روی GPUهای AMD Instinct و decode روی Cerebras CS-3 اجرا میشه.
- نتیجه: ۵ برابر throughput به ازای هر مگاوات بدون افت سرعت تولید توکن.
- چیپ Cerebras طبق ادعای شرکت ۳۵۰ برابر SRAM و ۵۴۰۰ برابر پهنای باند حافظهٔ GB300 داره.
- KV Portal کش KV رو با RDMA بین prefill و decode جابهجا میکنه.
- AWS، Fireworks AI، Gimlet Labs و General Compute جزو شرکای اولیه هستن.
- هدف: پیادهسازی روی صدها مگاوات تا پایان ۲۰۲۷.




