مدل رو عوض کردی؟ harness رو هم عوض کن
خلاصهٔ کاملتر
تیم Runta نسخهٔ v1.1 بنچمارک FrontierHarness رو با همکاری Baseten منتشر کرده. harness یعنی همون ابزار یا اسکلتی که دور مدل زبانی میپیچه و اونو به یه ایجنت کدنویسی تبدیل میکنه، مثل Codex CLI یا OpenCode. نسخهٔ قبلی فقط با یه مدل (Kimi K3) تست شده بود. این بار ۲۲ پیکربندی harness با ۵ مدل باز (GLM-5.3، GLM-5.3 Flash، DeepSeek V4.1 Flash، Muse و Kimi-K3) روی ۶۲ تسک ترمینالی و هر کدوم ۴ بار اجرا شدن. جمعاً ۲۷,۲۸۰ اجرا و ۸۳ میلیارد توکن، یعنی ۷۶ برابر نسخهٔ قبل.
نویسندهها میگن نتیجهٔ اصلی اینه که بهترین harness از نظر نسبت قیمت به کیفیت برای هر مدل یه چیز دیگهست: Codex CLI با GLM-5.3، Pi با GLM Flash، ZCode با DeepSeek، Oh My Pi با Muse و Alma با Kimi-K3. مثلاً Codex CLI از نظر هزینه به ازای هر تسک با GLM-5.3 رتبهٔ اول بود ولی با Kimi-K3 رفت رتبهٔ ۱۶. بهطور میانه هر harness بین مدلها ۱۱ پله جابهجا شد. برای اینکه مطمئن بشن این جابهجاییها از شانس نیست، تسکها رو ۴۰۰۰ بار دوباره نمونهگیری کردن و همبستگی رتبهها رو هم بین دو نیمهٔ اجراها چک کردن.
بیشترِ هزینه رو خود مدل تعیین میکنه (۹۲.۸ درصد واریانس)، چون قیمت مدلها تا ۲۰ برابر با هم فرق داره. ولی با یه مدل ثابت، harness هنوز هزینه رو ۱.۸ تا ۵ برابر بالا پایین میکنه. بیشترین فاصله با DeepSeek بود: Cline CLI پنج برابر OpenCode v1 خرج کرد و فقط ۲ امتیاز بیشتر گرفت. تو این مقاله اومده که گرونتر بودن هم نتیجهٔ بهتری نمیده؛ همبستگی هزینه و نرخ قبولی بین ۰.۳۹- تا ۰.۲۲+ بوده.
یه یافتهٔ جالب دیگه اینه که اندازهٔ پرامپت، تعداد ابزارها و نرخ cache hit هزینه رو پیشبینی نمیکنن؛ چیزی که هزینه رو بالا میبره تعداد قدمهاست. دلیلش اینه که هر قدم کل context رو دوباره میفرسته. مثلاً mini-SWE-agent کوچیکترین پرامپت اولیه رو داشت (۸۸۲ توکن) ولی چون ۳۸ قدم برای هر موفقیت لازم داشت، تو هزینه رتبهٔ ۱۷ از ۲۲ شد. ۶۴.۵ درصد کل هزینه هم خرج اجراهایی شد که اصلاً موفق نبودن.
harnessهای برنده چند چیز مشترک داشتن: یه ابزار shell بیشتر کار رو انجام میده (۶۱ تا ۹۳ درصد فراخوانیها)، context فقط به انتها اضافه میشه تا از cache خونده بشه، و تقریباً از subagent و خلاصهسازی استفاده نمیکنن. مثلاً پرامپت پیشفرض Pi فقط چهار ابزار داره و جستوجوی فایل رو به bash میسپره:
selectedTools: [...(input.selectedTools ?? ["read", "bash", "edit", "write"])],
addRule("Use bash for file operations like ls, rg, find");یه ضعف مشترک هم دارن: حدود سهچهارم اجراهای ناموفق با یه جواب مطمئن تموم میشن، نه با تموم شدن وقت. محدودیت مهم این تست اینه که فقط مدلهای باز و فقط یه provider بررسی شدن و قیمت و cache مال Baseten هست. قراره نسخهٔ بعدی مدلهای بسته مثل Claude Opus 5.5 و GPT-6 Astra رو هم اضافه کنه.
نکات کلیدی:
- بنچمارک v1.1 شامل ۲۲ harness، ۵ مدل باز، ۶۲ تسک و ۲۷,۲۸۰ اجرا با ۸۳ میلیارد توکنه.
- Codex CLI با GLM-5.3 ارزونترین بود ولی با Kimi-K3 رتبهٔ ۱۶ شد.
- با مدل ثابت، harness هزینه رو بین ۱.۸ تا ۵ برابر تغییر میده.
- تعداد قدمها (نه اندازهٔ پرامپت یا تعداد ابزار) با هزینه همبستگی داشت: ۰.۵۱+.
- ۶۴.۵ درصد هزینه صرف اجراهای ناموفق شد.
- ۲۱۶ اجرا به خاطر تقلب در پاداش (بیشترشون جستوجوی آنلاین) امتیاز صفر گرفتن.




