مسیریابی بین مدلها؛ ساده تا وقتی که نیست
هوش مصنوعیخلاصهٔ کاملتر
ایدهٔ مسیریابی مدل ساده به نظر میرسه: درخواستهای ساده رو بفرست سمت مدل ارزون، سختها رو نگه دار برای مدل گرون، یا بر اساس تخصص تقسیم کن. تیم IBM Research میگه وقتی این کار رو داخل سیستمهای ایجنتی پیاده کردن، دیدن مسئله اصلاً «انتخاب مدل» نیست؛ سه بُعد ماجرا رو بهطور غیرمنتظرهای سخت کرده بود.
اولی هزینهست. روی ۴۱۷ کار از AppWorld Test Challenge با همون ایجنت CodeAct، مجموع هزینهٔ Claude Sonnet 4.6 حدود ۷۹ دلار درومد (۰٫۱۹ دلار برای هر کار) و GPT-4.1 حدود ۱۵۵ دلار (۰٫۳۷ دلار) — یعنی تقریباً دو برابر. روی کاغذ این بیمعنیه: قیمت توکن GPT-4.1 هم روی ورودی هم خروجی پایینتره و Sonnet برای همون کارها حدود سه برابر مرحلهٔ استدلالی برمیداره.
توضیحش یه چیزیه که به گفتهٔ نویسندهها بیشتر بحثهای مسیریابی کلاً نادیدهاش میگیرن: کش. بار کاری ایجنتی بخش بزرگی از زمینه رو بین مرحلهها دوباره استفاده میکنه، پس وقتی نرخ اصابت کش بالاست هزینهٔ مؤثر ورودی بهشدت میریزه. قیمت پایینتر خوندن از کش برای Sonnet اونقدر اثر داشته که هم قیمت پایهٔ بالاتر و هم مسیرهای طولانیترش رو جبران کنه. نتیجه: مسیریابی که فقط به برگهٔ قیمت نگاه میکنه، دنبال عدد اشتباهیه.
دومی پیچیدگیه. راهبرد رایج اینه که سختی کار تخمین زده بشه و کار سختتر بره سراغ مدل قویتر، ولی این از دو جا میشکنه. یکی اینکه سختی موقع مسیریابی اغلب نامرئیه — «این قرارداد رو خلاصه کن» ساده به نظر میرسه ولی ممکنه بازیابی، بررسی انطباق، ابزار و چند دور بازنویسی لازم داشته باشه. دومی اینکه حتی با تخمین کامل، سختی فقط یکی از سیگنالهاست: مسیریاب باید همزمان هزینه، تأخیر، تخصص، پایایی و تو سازمانها قوانین انطباق و اقامت داده و فهرست مدلهای مجاز رو هم بچرخونه.
سومی تأخیره. وسوسهانگیزه که فکر کنی مدل بزرگتر کندتره و کوچیکتر سریعتر، ولی چیزی که کاربر حس میکنه به سختافزار میزبان، گرم بودن کش و شلوغی سرویس بستگی داره — عاملهایی که معمولاً بر زمان پاسخ سرتاسری غلبه میکنن. خود مسیریابی هم سربار داره: مسیریابی یکبار در هر کار سربار کمی داره، ولی مسیریابی در هر مرحله که انعطاف بیشتری میده، هر نقطهٔ تصمیم رو به یه تأخیر تازه تبدیل میکنه.
جمعبندیشون این بود که مسیریابی رو از مسئلهٔ دستهبندی به مسئلهٔ بهینهسازی تبدیل کنن: بهجای «کدوم مدل برای این کار بهتره؟»، الگوریتم همزمان روی هزینه، کیفیت و تأخیر بهینه میکنه. تو نتایج AppWorld، یکی از پیکربندیها (تأخیرمحور) به دقت ۸۴ درصد با ۹۳ دلار و ۸۳ ثانیه رسیده: در مقایسه با اجرای صرفاً Opus، حدود ۲۱ درصد هزینهٔ کمتر و ۹ درصد تأخیر کمتر، با فقط ۴ درصد افت دقت.
نکتهٔ ظریفش اینه که مسیریاب مبتنی بر سختی، تو همون بازهٔ دقت ولی با هزینهٔ بالاتر میشینه، چون فضای معاوضه رو کامل نمیگرده. خود بهینهسازی هم عمداً سبک نگه داشته شده — حدود ۶ میلیثانیه و ۲ کیلوبایت حافظه برای هر کار — تا خودش تبدیل به گلوگاه نشه. حرف آخر نویسندهها اینه که مسیریابی خوب معمولاً «بهترین مدل» رو پیدا نمیکنه، بهترین نقطهٔ کاری کل سیستم رو پیدا میکنه.
نکات کلیدی:
- هزینهٔ واقعی از برخورد مدل با بار کاری و زیرساخت درمیاد، نه از جدول قیمت
- رفتار کش میتونه مدل گرونتر رو در عمل ارزونتر کنه
- سختی کار موقع مسیریابی اغلب قابل تشخیص نیست
- تأخیر بیشتر تابع شرایط سرویسدهیه تا اندازهٔ مدل
- مسیریابی بهعنوان بهینهسازی، نه دستهبندی: ۲۱٪ هزینهٔ کمتر با ۴٪ افت دقت
