‏روتر مدل لوکال با Jev

مدل Jev از شرکت Typesafe AI یه کلاسیفایر (یعنی مدلی که فقط دسته‌بندی می‌کنه و اصلاً متن نمی‌نویسه) هست. بهش یه ورودی می‌دی و چندتا سوال تایپ‌دار، و اون جواب‌ها رو همراه با احتمالشون برمی‌گردونه. تو این مقاله اومده که همین خروجی، منطق شرطی یه روتر مدل می‌شه. یعنی دیگه لازم نیست از یه LLM پرحرف بخوای JSON بده و بعد با هزار زحمت پارسش کنی.

سه نوع سوال کار روتر رو راه می‌ندازه. choice ورودی رو بین چند دسته می‌ذاره: چت ساده، سوال ساده، بازنویسی، کد، تحلیل یا ساخت تصویر. score سختی کار رو روی یه مقیاس تا ده درجه می‌ده. null هم جواب بله/خیر می‌ده و برای گیت به کار می‌ره، مثلاً اینکه تو متن داده شخصی یا کلید API هست یا نه. هر سه رو می‌شه تو یه درخواست پرسید و موازی جواب می‌گیری، پس تأخیرش تقریباً اندازه یه سواله.

هر جواب یه عدد اطمینان هم داره و همین جلوی تصمیم بد روی ورودی مبهم رو می‌گیره. اطمینان پایین یعنی روتر به‌جای حدس زدن می‌ره سراغ حالت امن. معماری دمو هم سبکه: یه رابط کاربری، یه بک‌اند FastAPI، مدل‌هایی با API سازگار OpenAI و SQLite برای لاگ کردن تصمیم‌ها. مدل لوکال MiniCPM 5 2B بود، مدل ابری Deepseek V4.1 Flash و برای تصویر Qwen Image 2.1.

نویسنده خودش به یه تناقض اشاره می‌کنه: برای اینکه بپرسی «این متن داده خصوصی داره یا نه»، اول باید همون متن رو برای Jev بفرستی که یه سرویس ابریه. راه‌حلی که پیشنهاد می‌ده جایگزین کردنش با یه نسخه سلف‌هاست به اسم Open Jev هست تا هیچی از دستگاه بیرون نره. به گفتهٔ نویسنده، صرفهٔ این کار هم به این خاطره که کلاسیفایر فقط بابت توکن ورودی پول می‌گیره و سریعه، پس می‌شه جلوی تک‌تک پرامپت‌ها گذاشتش.

نکات کلیدی:

• سه نوع سوال: choice برای دسته‌بندی، score برای سختی روی مقیاس تا ده درجه، null برای گیت بله/خیر.
• همه سوال‌ها تو یه کال موازی جواب می‌گیرن، پس تأخیرشون تقریباً اندازه یه سواله.
• استک دمو: رابط Next.js، بک‌اند FastAPI، اندپوینت‌های سازگار OpenAI و SQLite برای لاگ تصمیم‌ها.
• مدل‌ها: MiniCPM 5 2B لوکال، Deepseek V4.1 Flash ابری از طریق OpenRouter و Qwen Image 2.1 برای تصویر.
• گیت حریم خصوصی روی سرویس ابری یه تناقض داره؛ راه‌حل پیشنهادی نسخه سلف‌هاست Open Jev هست.