‏Jev؛ بلوک سوم کنار کد و LLM

Jev مدلیه که فقط از یه فهرست جواب از پیش تعیین‌شده انتخاب می‌کنه. یه متن به‌هم‌ریخته بهش می‌دی، مثل یه ایمیل، یه تیکت پشتیبانی یا دستوری که یه ایجنت پیشنهاد داده، و یه دسته، امتیاز یا احتمال تحویل می‌گیری. هیچ‌وقت متن آزاد نمی‌نویسه و کل ماجرا هم همینه. تو این مقاله اومده که Typesafe این مدل رو پانزدهم سپتامبر منتشر کرده و به گفتهٔ نویسنده، تو بیست‌وچهار ساعت اول سریع‌ترین پذیرش تاریخ AI Gateway ورسل رو داشته.

حرف اصلی این نیست که Jev از یه LLM باهوش‌تره. نکته اینه که وقتی خروجی فقط «بله/خیر» یا «یکی از این پنج تا»ست، استفاده از یه مدل مولد یعنی داری بابت تولید توکن و ظرفیت استدلالی پول می‌دی که اصلاً لازمش نداری. قبل‌تر این جور قضاوت‌ها یا با قانون‌های دستی حل می‌شد که تا ورودی مبهم بشه می‌شکنن، یا با کلاسیفایرهای ML سفارشی که برای هر دسته جدید داده برچسب‌خورده و آموزش و نگهداری می‌خوان.

سه الگو تو محصولات واقعی دیده می‌شه. اولی «شیم» هست: کلاسیفایر بین ورودی نامنظم و منطق موجود نرم‌افزار می‌شینه. مثلاً به یه تیکت دسته و فوریت و ریسک ریزش مشتری می‌ده و بعد کد قطعی تصمیم می‌گیره بره سراغ کدوم تیم. دومی گیت ایمنی برای ایجنت‌هاست: قبل از اجرای کاری مثل پاک کردن یه پوشه یا force-push، کلاسیفایر می‌گه اجرا بشه، بلاک بشه یا بره برای تایید آدم.

سومی لایه تریاژه که تصمیم می‌گیره اصلاً ارزشش رو داره LLM صدا زده بشه یا نه. مثلاً اول مشخص می‌شه این ایمیل یه فرصت واقعیه، بعد مدل مولد می‌ره جواب رو بنویسه. نویسنده تاکید می‌کنه که این چیزها رو باید اندازه گرفت نه فرض کرد؛ باید تست کنی Jev از کال LLM فعلی، از کلاسیفایر دست‌ساز یا از بازبینی آدم بهتر درمیاد یا نه. جمع‌بندیش اینه که بیشتر سیستم‌های واقعی هر سه تا رو کنار هم به کار می‌برن.

نکات کلیدی:

• خروجی Jev فقط یه انتخاب، دسته، امتیاز یا احتماله؛ هیچ متن آزادی تولید نمی‌شه.
• سه الگوی تولیدی: شیم جلوی ورکفلو، گیت ایمنی اکشن ایجنت، و لایه تریاژ قبل از صدا زدن LLM.
• برخلاف کلاسیفایرهای ML قدیمی، برای هر مسئله جدید داده برچسب‌خورده و آموزش جدا لازم نیست.
• به گفتهٔ نویسنده، Jev فقط مرحله تصمیم رو برمی‌داره؛ نوشتن جواب هنوز کار LLMه.
• طبق مقاله تو بیست‌وچهار ساعت اول، بیشترین پذیرش تیم‌های پولی AI Gateway ورسل رو ثبت کرده.