‏روترهای هوشمند مدل: مدلِ درست برای هر کار

نویسنده (Gergely از خبرنامهٔ Pragmatic Engineer) می‌گه وقتی داشته دربارهٔ تلاشِ شرکت‌ها برای کم‌کردنِ هزینهٔ AI تحقیق می‌کرده، یکی از مدیرهای مهندسیِ یه شرکتِ بزرگ آرزو کرده که کاش یه روترِ «هوشمند» بود که برای هر کار مدلِ درست رو انتخاب کنه. دلیلش هم روشنه: بین یه مدلِ ارزون و متوسط و یه مدلِ پیشرفته، قیمتِ توکن می‌تونه به‌راحتی ۱۰ تا ۲۰ برابر فرق کنه.

به گفتهٔ نویسنده، الان کلی ابزار برای این کار هست. مثلاً Factory Router ادعای ۲۰-۲۵٪ صرفه‌جویی داره، Not Diamond حدودِ ۳۰٪ (که زیرِ پوستهٔ OpenRouter هم استفاده می‌شه)، و ابزارهای دیگه‌ای مثلِ Vercel AI Gateway، Prism از Augment Code، Model Router از Morph و Weave Router — که درخواست‌های «سخت» رو روی مدل‌های قوی و «آسون» رو روی مدل‌های متن‌باز می‌فرسته.

خیلی از AI gatewayها هم روتینگِ توکار دارن: OpenRouter یه «auto router» داره که بعد از تحلیلِ prompt بهترین مدل رو انتخاب می‌کنه، Kilo Gateway بر اساسِ بهترین قیمت‌به‌ارزش مسیر می‌ده، Requesty بر پایهٔ هزینه و تأخیر و دردسترس‌بودن، و LiteLLM که تنظیمش دستی‌تره ولی کنترلِ بیشتری بهت می‌ده. Envoy AI Gateway هم متن‌بازه ولی بیشتر رو دردسترس‌بودن تمرکز داره تا کاهشِ هزینه.

نویسنده می‌گه Cursor و GitHub Copilot هم یه حالتِ «Auto» برای انتخابِ خودکارِ مدل دارن، ولی تو Cursor هر صرفه‌جویی‌ای نصیبِ خودِ Cursor می‌شه نه مشتری، و دربارهٔ حالتِ Auto در Copilot هم بازخوردِ چندان مثبتی نشنیده. تو پلنِ Pro در Copilot حتی مدل‌های تازه‌ای مثلِ GPT-5.5 و Opus 4.8 در دسترس نیست و باید بری رو پلن‌های بالاتر.

به گفتهٔ Matan Grinberg (هم‌بنیان‌گذار و مدیرعاملِ Factory AI)، تقاضا به‌خصوص از طرفِ شرکت‌های بزرگ و بانک‌ها سرسام‌آور بوده، چون می‌خوان یه لایه برای کنترلِ هزینه داشته باشن ولی کیفیتِ کد بالا بمونه. اون می‌گه کم‌کم همه دارن می‌فهمن که مدل‌های متن‌باز خیلی وقتا کافی‌ان و حدس می‌زنه حدودِ ۶۰٪ کارهای مربوط به کدنویسی رو می‌شه با مدل‌های متن‌بازِ میزبانی‌شده پیش برد.

جمع‌بندی نویسنده اینه که «روتینگِ هوشمند» داره تبدیل به یه چیزِ پایه و بدیهی می‌شه و می‌شه انتظار داشت تقریباً همهٔ فروشنده‌های AI یه نسخه ازش بسازن و کلی فروشندهٔ جدید هم واردِ این بازار بشن.

نکات کلیدی:

• اختلافِ ۱۰-۲۰ برابریِ قیمتِ توکن بینِ مدل‌ها، انگیزهٔ اصلیِ روتینگِ هوشمنده.
• روترهایی مثلِ Factory Router و Not Diamond ادعای ۲۰ تا ۳۰ درصد صرفه‌جویی دارن.
• خیلی از gatewayها (OpenRouter، Kilo، Requesty، LiteLLM) روتینگِ توکار دارن.
• تو Cursor صرفه‌جوییِ حالتِ Auto مالِ خودِ Cursor می‌شه، نه مشتری.
• به گفتهٔ مدیرعاملِ Factory AI، مدل‌های متن‌باز برای حدودِ ۶۰٪ کارهای کدنویسی کافی‌ان.