برای ایجنتها، مدل رو آخر از همه انتخاب کن
هوش مصنوعیخلاصهٔ کاملتر
نویسنده (تاماس تانگوز) میگه بیشتر تیمهایی که ایجنت میسازن اول مدل رو انتخاب میکنن و معماری رو میذارن بعد، و این کاملاً برعکسه. به گفتهٔ اون انتخاب مدل باید آخرین تصمیم باشه، نه اولین. چیزی که واقعاً تعیینکنندهست روتره: یه قطعه کد کوچیک که مشخص میکنه هر درخواست با چه ردهٔ مدلی اجرا بشه. اگه روتر درست باشه، ۷۰ تا ۸۰ درصد ترافیک میره روی مدلهای محلی که هزینهٔ هر فراخوانیشون صفره، یا مدلهای async که خرج رو بیش از ۹۰ درصد پایین میآرن.
به گفتهٔ نویسنده مسئلهٔ روتینگ سه لایه داره و هر کدوم یه کار مجزا انجام میدن. دستهبند مهارت (skill classifier) درخواست خام کاربر رو به یه عملیات مشخص تبدیل میکنه و جواب میده که «کارِ چیه» — مثلاً نوشتن پاسخ، خلاصه کردن یه مخزن، اجرای یه migration. روتر تصمیم میگیره کدوم رده اون عملیات رو اجرا کنه؛ اون پرامپت رو نمیخونه، بلکه برچسبِ دستهبند بهعلاوهٔ چند ویژگی مثل پیچیدگی، اندازهٔ کانتکست و نرخ موفقیت تاریخی رو نگاه میکنه. انتخابگر مدل هم ارزونترین مدلِ اون رده رو که به آستانهٔ اطمینان میرسه برمیداره.
نویسنده تأکید میکنه دستهبند و روتر یکی نیستن: دستهبند یه مسئلهٔ زبانیه و روتر یه مسئلهٔ زمانبندی. اگه این دوتا رو قاطی کنیم، انتخاب مدل توی دل پرامپت دفن میشه و دیگه نمیشه چند مدل مختلف رو روی یه عملیات A/B کرد.
به گفتهٔ اون محاسبات محلی تقریباً رایگانه و استنتاج دستهایِ async حدود صد برابر ارزونتر از استنتاج بلادرنگه. پس سؤال واقعی باریکتر میشه: چه بخشی از کار واقعاً به جواب لحظهای نیاز داره؟ جواب، بهطرز عجیبی، خیلی کمه — بهشرطی که سیستم بتونه کار رو صف کنه. یه پاسخ پیشنویس، خلاصهٔ یه مخزن یا یه اجرای ارزیابیِ شبانه هیچکدوم لازم نیست تو یه ثانیه برگردن.
نویسنده میگه نسخهٔ اول این ایده رو تو رانتایم ایجنت خودشون پیاده کردن و دو مکانیزم بازخورد روی روتر نشسته که تو دو مقیاس زمانی کار میکنن: یه پیشبینِ همگام که هر مسیر ورودی رو با پنج ویژگی (مثل نبود کانتکست مخزن، زنجیرهٔ وابستگی طولانی، migrationهای پرخطر، پرامپتهای حساس امنیتی و نوشتنهای پرعواقب) علامت میزنه، و یه حلقهٔ بستهٔ شبانه که ردپای دیروز رو ارزیابی میکنه و وزنهای روتر رو بهروز میکنه. اولی کارهای سختِ شناختهشده رو قبل از شکست میگیره و دومی حالتهای شکستِ جدید رو کشف میکنه.
برای اثبات عملی، نویسنده به حرف برایان آرمسترانگ اشاره میکنه که میگه Coinbase تونسته با وجود رشد مصرف توکن، خرج AI رو تقریباً نصف کنه — نه با اخطار و اصطکاک، بلکه با پیشفرضهای بهتر، روتینگ و کش. جمعبندی نویسنده اینه: سیستمت رو حول روتینگ طراحی کن، نه حول مدلها؛ مدل رو آخر از همه انتخاب کن.
نکات کلیدی:
- انتخاب مدل باید آخرین تصمیم باشه؛ روتر مهمتر از مدله
- روتینگ سه لایه داره: دستهبند مهارت، روتر، و انتخابگر مدل
- با روتر درست ۷۰ تا ۸۰ درصد ترافیک روی مدل محلی تقریباً رایگان اجرا میشه
- کلید ماجرا صفبندیه، چون بیشتر کارها به جواب بلادرنگ نیاز ندارن
- Coinbase با پیشفرض بهتر، روتینگ و کش خرج AI رو تقریباً نصف کرده
