‏به‌جای انتخاب مدل، بین دو مدل مسیریابی کن

Fireworks تو این گزارش، مدل متن‌باز Kimi K3 و مدل بستهٔ Fable 5 رو روی حدود ۱۰۳۰ تسک ایجنتی و داخل یک هارنس یکسان مقایسه کرده. تسک‌ها تو پنج خانواده دسته‌بندی شدن: رفع باگ روی ریپوهای واقعی به سبک SWE-bench (۴۶۰ تسک)، عملیات طولانی ترمینال شامل امنیت و مهندسی معکوس و سیس‌ادمین (۸۹ تسک)، مسائل الگوریتمی سبک LeetCode (۱۰۰)، پیاده‌سازی در شش زبان (۲۲۵) و یه بنچمارک حقوقی که وکیل‌ها نمره‌اش دادن (۱۲۰).

یه مفهوم کلیدی قبل از نتایج توضیح داده شده: مسیریابی اوراکل. یعنی تسک رو به همهٔ مدل‌ها می‌دن و بعد ارزون‌ترین جواب درست رو انتخاب می‌کنن؛ این سقف نظری کیفیت به هزینه‌ست، نه چیزی که تو عمل شدنیه، چون روتر واقعی باید قبل از اجرا حدس بزنه. تو این مطالعه، اوراکل بین ۷۲ تا ۹۶ درصد تسک‌ها رو به K3 سپرده.

از بالا که نگاه کنی، مقایسه تقریباً مساویه: تو بنچمارک اصلی SWE، امتیاز K3 ‏۹۲.۴٪ و Fable ‏۹۲.۶٪ ـه و تو هر پنج خانواده هم فاصلهٔ دو مدل چند امتیاز بیشتر نیست. ولی حرف اصلی مقاله اینه که همین‌جا نباید متوقف شد.

وقتی همون بنچمارک SWE رو بر اساس دامنهٔ مسئله بشکنی، تفاوت‌ها بیرون می‌زنن: K3 تو ریاضی نمادین و ابزار توسعه بهتره و Fable تو کارهای وب و مصورسازی داده جلو می‌زنه. همین الگو تو مجموعهٔ چندزبانه هم تکرار می‌شه؛ گستردگی Fable تو جاوا، پایتون و C++ برنده‌ست، ولی K3 تو جاوااسکریپت و Rust باهاش برابری می‌کنه. تو کارهای طولانی ترمینال، K3 دسته‌ای از تسک‌ها رو حل کرده که Fable اصلاً از پس‌شون برنیومده: هش 7z، تحلیل رمز FEAL، رازهای لو رفته، یه آسیب‌پذیری زنده و جاب‌های ناهمگام از کنترل خارج‌شده.

جایی که فاصله واقعاً بزرگه، قیمته. منشأ این شکاف سه چیزه: قیمت توکن، کش پرامپت و میزان تلاش برای هر تسک. تو SWE، ‏K3 خیلی سخت‌تر کار می‌کنه — حدود ۵۵ نوبت و ۱.۳ میلیون توکن در برابر ۲۱ نوبت و ۱۳۰ هزار توکن Fable — ولی تو تسک‌های طولانی ترمینال ورق برمی‌گرده و این Fable ـه که تا ۶۴ نوبت و ۱.۵ میلیون توکن بالا می‌ره و گاهی مستقیم به تایم‌اوت می‌خوره.

کش پرامپت بیشترین نقش رو تو تبدیل این تلاش به مزیت قیمتی داره: حتی وقتی K3 ده برابر توکن می‌خونه، با اصابت کش، اجراهای SWE ارزون‌تر از Fable تموم می‌شن. البته یه معاوضه هم هست؛ نوبت بیشتر یعنی زمان بیشتر و اجرای کندتر. اگه جواب رو دو ثانیه‌ای می‌خوای این مهمه، ولی اگه ایجنت‌ها رو در مقیاس و در پس‌زمینه اجرا می‌کنی، صورت‌حسابی که کسری از قبله خیلی بیشتر اهمیت داره.

نتیجه‌گیری تیم اینه که نباید یه مدل انتخاب کرد، باید مسیریابی کرد. اگه هر تسک به مدلی بره که بهتر ازش برمی‌آد، جایی بین دو مدل نمی‌ایستی؛ بالاتر از هر دو می‌ایستی — تو این آزمایش دقت ۹۳٪ با هزینه‌ای نزدیک به همون مدل بهینه‌شدهٔ ارزون. توصیهٔ عملی‌شون هم دوتاست: مدل متن‌باز رو حالت پیش‌فرض بگیر چون روتر اوراکل بیشتر ترافیک رو به همون می‌فرسته، و روتر رو مزیت رقابتی خودت بدون، چون باید متناسب با بار کاری خودت تنظیم و مدام یاد بگیره.

نکات کلیدی:

• مقایسهٔ K3 و Fable 5 روی حدود ۱۰۳۰ تسک ایجنتی در پنج خانواده و یک هارنس یکسان
• کیفیت کلی تقریباً برابر (SWE: ‏۹۲.۴٪ در برابر ۹۲.۶٪) ولی تخصص‌ها در دامنه‌های متفاوت
• K3 تو کارهای طولانی ترمینال تسک‌هایی رو حل کرد که Fable اصلاً نتونست
• شکاف قیمت تا حدود ۵۰ برابر، عمدتاً به لطف کش پرامپت و قیمت توکن
• مسیریابی هر تسک به مدل مناسب، دقت ۹۳٪ داد؛ بالاتر از هر دو مدل به‌تنهایی
• اوراکل بین ۷۲ تا ۹۶ درصد ترافیک رو به مدل متن‌باز سپرد