سوییچیارد؛ روتر متنباز انویدیا برای مدلها
هوش مصنوعیخلاصهٔ کاملتر
سوییچیارد یه کتابخونهٔ مسیریابی متنباز از انویدیاست که بین ایجنت و مدلهایی که صدا میزنه میشینه و برای هر درخواست تصمیم میگیره کدوم مدل کار رو انجام بده. تو مقاله تأکید شده که خودش مدل نیست، زیرساخته: یه دستهبند، یه پراکسی برای ترجمهٔ بین فرمتهای مختلف API و چند روش مسیریابی آماده. روی پروژهٔ قبلی RouteLLM سوار شده و ردیابی وضعیت نشست و ردّ اقدامات رو بهش اضافه کرده.
نویسنده میگه چهار دلیل عملی آدمو میبره سراغ لایهٔ مسیریابی و هر کدوم جواب متفاوتی میخوان. هزینه: وقتی هر فراخوانی بره سراغ گرونترین مدل، توکنها سریع میسوزن. سرعت: تو کارهای ایجنتی با دهها مرحلهٔ پشتسرهم، یه مدل کند کل خط لوله رو میخوابونه. تخصص: هیچ مدلی برای همهچی بهترین نیست و روتر باید بدونه کدوم متخصص رو صدا بزنه. حریم خصوصی: دادهٔ حساس مثل نام میزبان یا IP بهتره از زیرساخت خودت بیرون نره.
ساختارش دور دو مفهوم میچرخه: «پروفایل» که میگه یه مسیر کدوم حالت روتر رو بهکار میبره، و «تارگت»ها که مدلهای در دسترس رو تعریف میکنن — مثلاً یکی با برچسب «توانمند» (یه API فرانتیر) و یکی «کارآمد» (مدل محلی). سرراستترین روش مسیریابیش تصادفیه که ترافیک رو با نسبت ثابت پخش میکنه؛ بهتنهایی بیفایده بهنظر میاد، ولی برای تست A/B و گرفتن خط پایهٔ هزینه و کیفیت بهدرد میخوره.
سه روش دیگه هوشمندترن: دستهبند LLM که قبل از اجرای کار یه مدل کمکی درخواست رو میخونه و لایهٔ مدل رو انتخاب میکنه (هزینهش یه فراخوانی اضافه بهازای هر پرسوجوئه)؛ روتر مرحلهای که سیگنالهای موجود تو گفتوگو مثل شکست فراخوانی ابزار رو میخونه و برای همین تقریباً مجانیه؛ و روتر ارتقا که هر نشست رو ارزون شروع میکنه و فقط با تشخیص یه مدل داور، بقیهٔ کار رو به مدل قویتر میسپره.
نویسنده میگه همین ستون هزینه رو باید بیشتر از همه موشکافی کرد، چون یه روش ناکارآمد میتونه صرفهجویی رو بخوره؛ و بهتره تصمیم مسیریابی یهبار اول کار گرفته بشه، چون عوضکردنش تو هر نوبت گرونه و کش پرامپت رو خراب میکنه. انویدیا ادعا میکنه این ترکیب حدود ۵۰٪ پاسخ سریعتر و ۲۵٪ کارایی توکن بهتر میده — که به تصریح خود مقاله، حرف شرکته نه بنچمارک مستقل. جمعبندی نویسنده اینه که سوییچیارد لولهکشی رو میده، نه سیاست رو.
نکات کلیدی:
- روتر متنباز، سوار بر RouteLLM، با ردیابی وضعیت نشست و ردّ اقدامات
- چهار روش آماده: تصادفی، دستهبند LLM، روتر مرحلهای و روتر ارتقا
- SDK ترجمهٔ فرمت بین API سبک OpenAI، سبک Anthropic و responses API
- روتر prefill قابلتنظیم: پیشبینی احتمال موفقیت و ترکیبش با هدف هزینه و تأخیر
- منطق تصمیمگیری بیشتر روی CPU اجرا میشه و سر حافظهٔ GPU با مدلها رقابت نمیکنه
- جفت طبیعیش یه مدل محلی سریعه، مثل Nemotron 3.5 Lightning
