‏بنچمارک Vals: هیچ روتری از تک‌مدل‌ها بهتر نبود

تیم Vals یه ارزیابی به اسم Vals Router Index منتشر کرده که model routerها رو می‌سنجه؛ یعنی سرویس‌هایی که برای هر درخواست تصمیم می‌گیرن کدوم مدل هوش مصنوعی جواب بده تا بین کیفیت و هزینه تعادل باشه. شش روتر تست شدن: Auto Router و Jev Router از OpenRouter، Nexus Auto از Fireworks با دو مجموعه مدل (یکی بر پایه GPT-6.1 Sol و یکی Claude Opus 5.5)، Router از Ramp و Fugu Max از Sakana. هر کدوم با تنظیمات پیش‌فرض، روی حدود 1250 تسک ایجنتی از هشت بنچمارک مالی، کدنویسی، حقوقی و مالیاتی اجرا شدن.

نتیجه اصلی اینه که هیچ روتری روی مرز هزینه و دقت نبود، یعنی برای هر کدوم حداقل یه مدل تکی پیدا شد که هم امتیاز بیشتر گرفت و هم ارزون‌تر بود. Nexus Auto با Sol بهترین بود و فقط 3.9 امتیاز کمتر از GPT-6.1 Sol گرفت، با حدود یک‌سوم هزینه‌ش. ولی DeepSeek V4.1 Flash 1017 با حدود نصف هزینه، حدود یه امتیاز بالاتر رفت که تو حاشیه خطاست. بیشترین افت روترها روی کدنویسی بود، مثلاً Router از Ramp روی Terminal-Bench فقط 32.3 درصد گرفت در برابر 55.1 درصد Sol.

بقیه هم وضع بهتری نداشتن. Auto Router با سه مدل ارزون هر تست رو 0.82 دلار تموم کرد، ولی DeepSeek V4.1 Flash که یکی از مدل‌های خودش بود به‌تنهایی 9 امتیاز بیشتر گرفت. Jev Router از دوازده مدل استفاده کرد ولی مجموعه بزرگ‌تر خودش به نتیجه بهتر نرسید. Fugu Max ضعیف‌ترین بود و روی Terminal-Bench با میانه حدود 110 قدم، 45 تا از 66 تسک رو تو هر سه اجرا نتونست حل کنه.

طبق گزارش، زیر روترها مدل‌ها خیلی کمتر کار می‌کردن. مثلاً روی Tax Agent Bench ایجنت‌های Nexus Auto با Opus بعد از میانه 7 قدم جواب دادن، در حالی که خود Claude Opus 5.5 حدود 41 قدم برمی‌داشت؛ نتیجه‌ش هم این شد که روتر حدود 22 امتیاز کمتر گرفت. نویسنده‌ها حدس می‌زنن روترها به‌صورت پیش‌فرض مدل‌ها رو با reasoning effort پایین‌تر (یعنی فکر کردن کمتر قبل از جواب) اجرا می‌کنن. یه نکته جالب دیگه: Router از Ramp قدم آخر و ثبت جواب رو تو 131 از 198 تلاش به GPT-6 Luna داد و فقط 25 درصدشون قبول شدن، در برابر 46 درصد وقتی Sol ثبت می‌کرد.

تو این مقاله دو مبنای مقایسه هم ساخته شده تا نشون بده چقدر جا برای بهتر شدن هست. ساده‌ترینش اینه که برای هر بنچمارک یه مدل ثابت از همون مجموعه انتخاب کنی؛ این روش با همون هزینه حدود 10 تا 13 امتیاز از سه روتر جلو زد. Oracle routing (یعنی انتخاب بهترین مدل برای هر تسک با دونستن نتیجه از قبل) تا 27 امتیاز بالاتر رفت. البته نویسنده‌ها تأکید می‌کنن این عددها سقف ممکن رو نشون می‌دن، نه چیزی که یه روتر واقعی روی تسک جدید بهش برسه.

نکات کلیدی:

• شش روتر روی حدود 1250 تسک از هشت بنچمارک Vals Index تست شدن
• هیچ روتری روی مرز هزینه و دقت نبود و هر کدوم رو دست‌کم یه مدل تکی شکست داد
• Nexus Auto با Sol بهترین روتر بود: 3.9 امتیاز زیر GPT-6.1 Sol با حدود یک‌سوم هزینه
• Auto Router با هزینه 0.82 دلار برای هر تست، 9 امتیاز از DeepSeek V4.1 Flash عقب بود
• Fugu Max ضعیف‌ترین بود و 45 از 66 تسک Terminal-Bench رو تو هر سه اجرا نتونست حل کنه
• انتخاب یه مدل ثابت برای هر بنچمارک، با همون بودجه 10 تا 13 امتیاز بهتر از سه روتر بود