‏روترها، لایهٔ تازهٔ استک هوش مصنوعی و چطور باید سنجیدشون

تو این پست، تیم Vals که مدل‌های هوش مصنوعی رو روی کارهای تخصصی مثل مالی، برنامه‌نویسی، حقوق و مالیات ارزیابی می‌کنه، از یه لایهٔ جدید تو استک AI حرف می‌زنه: router. روتر جلوی چند تا مدل می‌شینه و برای هر درخواست تصمیم می‌گیره کدوم جواب بده، با در نظر گرفتن کیفیت، هزینه و latency. بعضی روترها خود پرامپت رو قضاوت می‌کنن، بعضی از سیگنال‌های بیرونی مثل امتیاز بنچمارک استفاده می‌کنن، و خیلی‌هاشون حالا تو هر مرحله از کار یه ایجنت تصمیم می‌گیرن.

به گفتهٔ نویسنده‌ها، مرز توانایی مدل‌ها «دندونه‌دار» هست: روی هشت بنچمارک Vals Index، پنج مدل مختلف رتبه‌های اول رو دارن و هیچ مدلی تو هر هشت تا جزو سه تای اول نیست. مثلاً مدلی که تو بنچمارک حقوقی HLAB اوله، تو Terminal-Bench 4.0 رتبهٔ ۴۰ام داره. فقط تو یه ماه گذشته هم ده شرکت ۱۶ مدل زبانی جدید منتشر کردن، که یعنی انتخاب دستی مدل برای هر کار یه بار سنگین مهندسیه.

برای اینکه پتانسیل این کار مشخص بشه، Vals یه oracle router حساب کرده؛ یعنی روتر خیالی‌ای که بعد از دیدن نتیجه‌ها، برای هر تسک بهترین مدل رو انتخاب می‌کنه. نتیجه این بوده که این روتر روی Vals Index ۱۴ امتیاز از بهترین مدل تکی جلوتره و حدود ۴۰ درصد ارزون‌تر تموم می‌شه. سؤال اصلی اینه که روترهای واقعی چقدر از این فاصله رو پر می‌کنن.

نویسنده‌ها می‌گن بنچمارک‌های آکادمیک مثل RouterBench، RouterArena و LLMRouterBench پایهٔ خوبی گذاشتن، ولی بیشترشون یه انتخاب رو روی یه سؤال عمومی می‌سنجن. وقتی همهٔ مدل‌ها جواب درست رو بدن، روتری که همیشه ارزون‌ترین رو انتخاب می‌کنه بی‌نقص به نظر میاد. تو کار ایجنت‌ها ماجرا فرق داره: یه مدل ارزون‌تر ممکنه یه قدم رو ارزون کنه ولی خطایی بسازه که چند قدم دیگه طول بکشه درستش کنی. عوض کردن مدل وسط کار هم prompt cache رو از بین می‌بره، یعنی لزوماً صرفه‌جویی نمی‌شه.

Vals Index برای همین مناسبه: هر هشت بخشش ایجنت‌های ابزارمحور و طولانی رو می‌سنجن، شش تاش خصوصیه و تسک‌ها رو متخصص‌های واقعی مثل وکیل و تحلیلگر مالی نوشتن. تو ارزیابی جدید، هر روتر با تنظیمات پیش‌فرض خودش جای مدل رو تو همون harness می‌گیره و تو هر فراخوانی تصمیم می‌گیره. بعد نتیجهٔ تسک، هزینه، مصرف cache و زمان اجرا با بهترین و ارزون‌ترین مدل تکی و با oracle مقایسه می‌شه. نتایج به‌زودی روی یه leaderboard عمومی منتشر می‌شه.

نکات کلیدی:

• روی هشت بنچمارک Vals Index، پنج مدل مختلف رتبهٔ اول رو دارن و هیچ مدلی همه‌جا جزو سه تای اول نیست.
• oracle router روی Vals Index ۱۴ امتیاز بهتر از بهترین مدل تکی و حدود ۴۰ درصد ارزون‌تره.
• عوض کردن مدل وسط یه سشن طولانی cache رو باطل می‌کنه، پس روتر ارزون‌تر لزوماً هزینه رو کم نمی‌کنه.
• شش تا از هشت بنچمارک Vals Index خصوصی‌ان و با سیاست Zero Data Retention اجرا می‌شن.
• OpenRouter، Fireworks، Not Diamond و Ramp از شریک‌های این ارزیابی هستن و هر کدوم روش سنجش خودشون رو دارن.