Together Compiler: بهینه‌سازی مداوم inference با agentها
هوش مصنوعیخلاصهٔ کامل‌تر
تیم Together AI تو این پست Together Compiler یا TKCC رو معرفی کرده: سیستمی که با agentهای هوش مصنوعی، موتور inference (یعنی بخشی که مدل رو اجرا می‌کنه و جواب تولید می‌کنه) رو برای هر ترکیب مدل، سخت‌افزار و ترافیک به‌طور مداوم بهینه می‌کنه. به گفتهٔ نویسنده‌ها، تنوع اینقدر زیاده که بهینه‌سازی دستی دیگه جواب نمی‌ده. هیچ‌کدوم از ۱۰ مدل باز برتر OpenRouter معماری یکسانی ندارن و سخت‌افزارها هم از H100 تا B300 و Groq هرکدوم استراتژی خودشون رو می‌خوان.
ترافیک هم دائم عوض میشه. Together می‌گه پرامپت‌ها تو ساعت کاری یه کشور ۱.۴ برابر بلندتر از یه کشور دیگه‌ان (۹۷ هزار در برابر ۷۰ هزار توکن). دو هفته بعد از عرضهٔ یه مدل جدید هم طول پرامپت‌ها حدود ۸۰٪ بیشتر میشه، چون کاربرها از چت به سمت کارهای agentic می‌رن.
ایدهٔ اصلی TKCC persistent engine هست. سیستم‌های قبلی برای تست هر آزمایش باید موتورهایی مثل vLLM یا SGLang رو از اول بالا بیارن که طبق جدول این پست حدود ۴۶۷ ثانیه طول می‌کشه. TKCC موتور رو یه بار روشن می‌کنه و هر forward pass جدید رو بدون ری‌استارت hot-reload می‌کنه، که فقط حدود ۹ ثانیه می‌خواد. چند agent هم همزمان ایده می‌دن و از طریق یه message board با هم هماهنگ می‌شن. نتیجه‌اش ۲۵۲ برابر آزمایش بیشتر نسبت به سیستم‌های agentic معمولیه.
یه مشکل دیگه، تعادل بین سرعت اندازه‌گیری و دقتشه. تست kernelها جدا از موتور و با دادهٔ تصادفی سریعه ولی برای معماری‌هایی مثل MoE (مدلی که هر توکن رو به چند «متخصص» محدود می‌فرسته) گمراه‌کننده‌ست، چون توزیع داده روی نتیجه اثر داره. TKCC برای همین دو جور موتور داره: موتورهای سریع با چند لایه برای تکرار سریع و موتورهای کندتر با لایه‌های بیشتر برای چک کردن روی دادهٔ واقعی. یه cost model هم داره که از بین روش‌های موازی‌سازی مثل TP و EP بهترین رو انتخاب می‌کنه.
طبق نتایج Together، TKCC کمتر از ۲۴ ساعت روی مدل‌هایی مثل Kimi K3، GLM 5.3 و DeepSeek v4.1-Flash تا ۲.۶ برابر TPS بیشتر گرفته. تو بنچمارک InferenceX از SemiAnalysis برای حالت low-latency هم رکورد زده: ۱۱۱۱ TPS روی MiniMax M3.1-Flash و ۱۲۰۵ TPS روی DeepSeek v4.1-Flash. روی Llama 1B با batch size 1 هم ۱.۷ برابر از megakernelهای متن‌باز سریع‌تر بوده. نویسنده‌ها می‌گن روش‌شون به حوزه‌هایی مثل پیش‌بینی آب‌وهوا، PDE، سری زمانی و زیست‌شناسی هم تعمیم پیدا می‌کنه و الان روزانه تریلیون‌ها توکن رو سرو می‌کنه.
نکات کلیدی:
- TKCC با persistent engine زمان آماده شدن موتور رو از حدود ۴۶۷ ثانیه به ۹ ثانیه می‌رسونه
- تعداد آزمایش‌ها ۲۵۲ برابر سیستم‌های agentic معمولیه
- تا ۲.۶ برابر TPS بیشتر روی مدل‌های باز frontier در کمتر از ۲۴ ساعت
- رکورد InferenceX در low-latency: ۱۱۱۱ TPS روی MiniMax M3.1-Flash و ۱۲۰۵ TPS روی DeepSeek v4.1-Flash
- ۱.۷ برابر سریع‌تر از megakernelهای متن‌باز روی Llama 1B با batch size 1
