‏Panda Router: یه مدل ۳۲ میلیونی که برای هر تسک کدنویسی مدل مناسب رو انتخاب می‌کنه

Panda Router یه مدل محلی ۳۲ میلیون پارامتریه که برای ابزار متن‌باز Panda Code ساخته شده. Panda Code یه محیطه که توش می‌شه Claude Code، Codex، Kimi و بقیهٔ agentهای کدنویسی رو کنار هم اجرا کرد. کار روتر اینه که به‌جای فرستادن همهٔ تسک‌ها به یه مدل گرون، برای هر تسک ارزون‌ترین مدلی رو پیدا کنه که شانس موفقیتش بالاست. حجمش بعد از quantize شدن به int8 و خروجی گرفتن با ONNX حدود ۳۱ مگابایته و روی CPU تو ۱۰ تا ۲۵ میلی‌ثانیه جواب می‌ده.

نکتهٔ جالب طراحیش اینه که تصمیم‌گیری دو لایه داره. خود شبکهٔ عصبی فقط یه پروفایل از تسک می‌سازه: دسته‌بندی، سختی از ۱ تا ۱۰، مهارت‌های لازم و اینکه به ابزار یا تصویر نیاز داره یا نه. بعد یه کد معمولی (نه شبکهٔ عصبی) این پروفایل رو با «کارت» هر مدل مقایسه می‌کنه. هر کارت یه فایل JSON کوچیکه با امتیاز مهارت، قیمت، context window و تأخیر. یعنی وقتی مدل جدیدی میاد، فقط یه کارت اضافه می‌کنی و لازم نیست روتر دوباره آموزش ببینه.

برای آموزش، اول یه مدل معلم ۱۵۰ میلیونی روی Modal آموزش دیدن و بعد اونو تو یه مدل ۳۲ میلیونی distill کردن (یعنی دانش مدل بزرگ رو به یه مدل کوچیک‌تر منتقل کردن). برچسب زدن حدود ۸۰۰۰ تسک با DeepSeek V4.1 Flash فقط ۲.۷۷ دلار خرج داشته. ولی این برچسب‌ها فقط حدس بودن، برای همین یه مرحلهٔ «attempt and grade» هم داشتن که توش مدل‌های واقعی تسک‌ها رو انجام می‌دادن و یه داور سخت‌گیر قبول یا رد می‌کرد.

به گفتهٔ سازنده، روتر به‌جای تخمین خوش‌بینانه، از حد پایین احتمال موفقیت استفاده می‌کنه و هزینهٔ تلاش‌های شکست‌خورده رو هم حساب می‌کنه. تابع loss سختی هم عمداً یه‌طرفه طراحی شده تا اگه قراره اشتباه کنه، سختی رو بیشتر از واقعیت تخمین بزنه. یه نکتهٔ دیگه: روی ۱۵۰۰ پرامپت مبهم مثل «اپ رو بهتر کن» هم fine-tune شده تا این‌جور درخواست‌ها رو سخت حساب کنه.

تو تست روی ۱۵۰ تسک با ۹ مدل، استفادهٔ همیشگی از یه مدل قوی حدود ۷۷ تا ۷۹ از ۱۰۰ تسک رو حل کرد. یه بار انتخاب با روتر همین نتیجه رو با هزینهٔ کمتر گرفت. با فعال کردن escalation (یعنی بعد از شکست، تا دو بار رفتن سراغ یه مدل قوی‌تر) موفقیت به حدود ۹۱ رسید، در حالی که سقف تئوری ۹۴ بود. نسخه‌های ۵ و ۶ نتونستن همهٔ معیارهای از پیش تعیین‌شده رو پاس کنن، برای همین نسخهٔ 4.3 هنوز پیش‌فرضه.

تو Panda Code روتر داخل قابلیت «agent teams» نشسته و چهار حالت داره: بدون تیم، تیم ارزون، متعادل و بهترین تیم. اگه کار یه worker تو تست یا type check رد بشه، با یه مدل قوی‌تر جایگزین می‌شه. سازنده محدودیت‌ها رو هم گفته: خیلی از کارت‌ها هنوز تخمینی‌ان و روی Intel Mac و لینوکس x86 فعلاً فقط تطبیق کلمه‌ای ساده کار می‌کنه.

نکات کلیدی:

• مدل ۳۲ میلیون پارامتر، حدود ۳۱ مگابایت، ۱۰ تا ۲۵ میلی‌ثانیه روی CPU
• شبکهٔ عصبی فقط پروفایل تسک رو می‌سازه و انتخاب مدل با کد قاعده‌محوره
• escalation همیشه به سمت مدل قوی‌تر می‌ره و حداکثر دو بار تکرار می‌شه
• موفقیت از ۷۷ تا ۷۹ به حدود ۹۱ از ۱۰۰ رسید، نزدیک سقف ۹۴
• کل هزینهٔ پروژه حدود ۵۰ دلار و زمان ساختش حدود سه روز بوده
• با لایسنس MIT به‌صورت CLI، سرور HTTP، API پایتون و MCP server منتشر شده