GPT-5.6 Sol روی سربراس: ۷۵۰ توکن در ثانیه
هوش مصنوعیخلاصهٔ کاملتر
سربراس و OpenAI با هم اعلام کردن که Ultrafast — یه لایهٔ سرویس جدید توی API خود OpenAI — راه افتاده و مدل GPT-5.6 Sol رو روی سختافزار سربراس اجرا میکنه. تو این مقاله اومده که خروجی تا ۷۵۰ توکن در ثانیه میرسه، اونم بدون افت کیفیت. حرف اصلی هم همینه: دیگه لازم نیست بین «سریع» و «باهوش» یکی رو انتخاب کنی.
سربراس این حالت رو روی Humanity's Last Exam تست کرده؛ یه بنچمارک ۲۵۰۰ سؤالی که معمولاً فقط آدمهای دکترای شیمی و اقتصاد و ادبیات از پسش برمیآن. GPT-5.6 Sol تو حالت Ultrafast کل ۲۵۰۰ سؤال رو تو ۱۱ ساعت و ۱۱ دقیقه جواب داد، ولی Claude Fable 5 برای رسیدن به همون نتیجه ۷۸ ساعت و ۲۷ دقیقه وقت لازم داشت. یعنی تقریباً ۷ برابر سریعتر، با دقت قابلمقایسه.
به گفتهٔ نویسنده و بر اساس عددهای Artificial Analysis، این حالت ۱۱ برابر سریعتر از Fable 5 و ۵ برابر سریعتر از Opus 4.8 روی حالت Fast کار میکنه. روی GDP-Val هم — بنچمارکی که کارهای دانشی با ارزش اقتصادی رو میسنجه — سرعت کل مسیر ۵.۶ برابر شده بدون اینکه کیفیت پایین بیاد.
چیزی که این سرعت رو ممکن میکنه معماری Wafer-Scale Engine سربراسه. نویسنده میگه استنتاج سریع روی مدلهای بزرگ در اصل یه مسئلهٔ جابهجایی دادهست: روی GPU وزنهای مدل باید مدام بین حافظهٔ روی تراشه و حافظهٔ بیرونی رفتوبرگشت کنن و همین پهنای باند حافظه میشه گلوگاه. سربراس ۴۴ گیگابایت SRAM روی هر تراشهٔ اندازهٔ ویفر گذاشته، پس وزنها روی خود تراشه میمونن و توکنها بین لایهها پایپلاین میشن.
کاربردی که مقاله روش دست میذاره، کارهاییه که توشون ثانیه مهمه: ریشهیابی قطعی سرویس تو پروداکشن و واکنش تیم امنیت به حملهٔ در جریان. فعلاً Ultrafast تو یه پیشنمایش محدود و برای گروهی از مشتریهای منتخب فعاله و قراره با زیاد شدن ظرفیت، دسترسی هم باز بشه.
نکات کلیدی:
- Ultrafast یه لایهٔ سرویس تازه تو API اوپنایآیه که سختافزار سربراس اجراش میکنه.
- GPT-5.6 Sol روی این حالت تا ۷۵۰ توکن در ثانیه خروجی میده.
- ۲۵۰۰ سؤال Humanity's Last Exam در ۱۱ ساعت و ۱۱ دقیقه، مقابل ۷۸ ساعت و ۲۷ دقیقهٔ Claude Fable 5.
- روی GDP-Val سرعت کل مسیر ۵.۶ برابر شده، بدون افت کیفیت.
- هر تراشهٔ ویفراسکیل سربراس ۴۴ گیگابایت SRAM داره تا وزنها از تراشه بیرون نرن.
- فعلاً فقط پیشنمایش محدود برای مشتریهای منتخب.
