Switchyard؛ پروکسی روتینگ ترافیک LLM از انویدیا
هوش مصنوعیخلاصهٔ کاملتر
انویدیا زیر پروژهٔ NeMo ابزاری به اسم Switchyard منتشر کرده؛ یه پروکسی و کتابخونهٔ نوشتهشده با Rust که مخصوص مدیریت ترافیک LLMـه. کاری که میکنه اینه: درخواستها رو بین چند ارائهدهنده مسیریابی میکنه، بین فرمتهای مختلف API ترجمه میکنه، متریکهای عملیاتی ثبت میکنه و الگوریتمهای روتینگ تایپدار و ترکیبپذیر میده.
به گفتهٔ مخزن، انگیزهٔ اصلی اینه که بتونی یه ایجنت کدنویسی مثل Claude Code یا Codex رو به یه مدل متنباز وصل کنی. Switchyard بین فرمتهای OpenAI Chat، Anthropic Messages و OpenAI Responses ترجمه میکنه، برای همین ایجنت با همون API بومی خودش حرف میزنه ولی درخواست پشت صحنه با vLLM، NVIDIA NIM، Ollama یا هر اندپوینت سازگار با OpenAI سرو میشه. همین پروکسی میتونه ترافیک رو بین چند مدل پخش کنه تا بنچمارک A/B بگیری.
برای تصمیم دربارهٔ مسیر، چند استراتژی آماده داره: LLM Classifier که بر اساس محتوای درخواست تصمیم میگیره کار به مدل ضعیف بره یا قوی؛ Stage Router که از سیگنالهای موجود تو مکالمه (مثل نتیجهٔ ابزارها و خطاها) استفاده میکنه تا بدون یه فراخوانی اضافهٔ مدل مسیر رو انتخاب کنه؛ Escalation Router که اول همه چی رو روی مدل ضعیف اجرا میکنه و یه داور تصمیم میگیره به مدل قوی ارتقا بده یا نه؛ و Random برای تقسیم ثابت ترافیک تو تست A/B. الگوریتم دلخواه خودت رو هم میتونی بنویسی.
Switchyard سه مسیر استفاده داره: مسیر launcher برای اجرای مستقیم ایجنتها، مسیر server برای بالا آوردنش بهعنوان پروکسی مستقل، و مسیر library با کریت switchyard-libsy که الگوریتمهای روتینگ رو تو اپ Rust خودت جا میده بدون اینکه خودش مدل رو صدا بزنه. متریکها هم با Prometheus روی درخواست، خطا، تأخیر، توکن و سربار روتینگ گزارش میشن. فقط حواست باشه که نویسنده صراحتاً گفته این نرمافزار pre-alpha و آزمایشیه، برای پروداکشن نیست و API و الگوریتمهاش تا نسخهٔ ۱.۰ حسابی تغییر میکنن. لایسنسش هم Apache 2.0 ـه.
نکات کلیدی:
- Switchyard یه پروکسی و کتابخونهٔ Rust از NVIDIA NeMo برای ترافیک LLMـه.
- بین فرمتهای OpenAI Chat، Anthropic Messages و OpenAI Responses ترجمه میکنه.
- ایجنتهایی مثل Claude Code و Codex رو به مدلهای self-hosted مثل vLLM، NIM و Ollama وصل میکنه.
- چهار استراتژی روتینگ آماده: LLM Classifier، Stage Router، Escalation Router و Random، بهعلاوهٔ الگوریتم سفارشی.
- متریک Prometheus داره و لایسنسش Apache 2.0 ـه، ولی فعلاً pre-alpha و آزمایشیه (نه برای پروداکشن).
