Jev: مدلی که میزان مطمئن بودنش رو هم می‌گه
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
شرکت TypeSafe از ۱۵ سپتامبر مدلی به اسم Jev منتشر کرده که برخلاف چت‌بات‌ها اصلاً متن نمی‌نویسه. بهش اطلاعات یا یه سؤال می‌دی، می‌گی چه جواب‌هایی مجازه و یه تصمیم تحویل می‌گیری. نویسنده‌ی این مقاله که خودش طراحه، می‌خواد نشون بده این مدل غیر از مهندس‌ها برای طراح‌ها هم حرفی برای گفتن داره.
Jev سه نوع سؤال جواب می‌ده:
- Choice: یه گزینه از لیستی که بهش دادی انتخاب می‌کنه، مثلاً این‌که یه ایمیل شکایته، سؤاله یا فاکتور.
- Score: چیزی رو روی یه مقیاس می‌ذاره، مثلاً فوریت یه پیام از ۱ تا ۵.
- Noul: اسمی که TypeSafe روی سؤال‌های بله/خیر گذاشته و احتمال «بله» رو برمی‌گردونه.
کنار هر جواب، یه عدد هم میاد که نشون می‌ده هر گزینه چقدر محتمله. سرعت و قیمتش هم دلیل استقبال برنامه‌نویس‌هاست: بیشتر درخواست‌ها حدود یک دهم ثانیه جواب می‌گیرن، ورودی ۰.۰۴۲ دلار برای هر یک میلیون توکن خرج داره و خروجی مجانیه. طبق اندازه‌گیری‌ای که نویسنده بهش اشاره می‌کنه، یه درخواست چهارسؤالی حدود ۰.۰۰۰۱۲۶ دلار درمیاد.
نکته‌ی اصلی از نظر نویسنده روش آموزشه. RLHF (یعنی آموزش مدل با پاداش دادن به جواب‌هایی که آدم‌ها بیشتر می‌پسندن) باعث میشه مدل‌ها مطمئن به نظر بیان، چون آدم‌ها جواب‌های قاطع و موافق رو ترجیح می‌دن. TypeSafe روشی به اسم Reinforcement Learning for Calibrated Decisions ساخته که به احتمال‌های صادقانه پاداش می‌ده. هدف اینه که وقتی Jev می‌گه ۷۰ درصد، تقریباً ۷۰ بار از ۱۰۰ بار درست باشه. بنیان‌گذار TypeSafe، Diogo Almeida، از کسایی بوده که تو OpenAI روی RLHF و InstructGPT کار کرده.
روی بنچمارک خود TypeSafe، دقت Jev حدود ۶۸ درصده که نزدیک مدل‌های زبانی سطح متوسطه. ولی نویسنده می‌گه همین عدم‌قطعیت صادقانه دقیقاً چیزیه که طراح لازم داره، چون تو طراحی کم پیش میاد چیزی صفر و یکی باشه. برای نشون دادنش، روی یه دمو از HeyStefan یه «منطقه‌ی شاید» اضافه کرده: ۱۶۶ ایموجی بر اساس مفهومی که تایپ می‌کنی بالا و پایین می‌رن و اونایی که Jev درباره‌شون مطمئن نیست وسط معلق می‌مونن. خودت هم می‌تونی ایموجی‌ها رو جابه‌جا کنی و فاصله‌ی نظرت با Jev رو ببینی.
محدودیت‌ها هم کم نیستن. Jev فقط متن می‌خونه و اسکرین‌شات نمی‌فهمه، پس باید طراحیت رو با کلمه توصیف کنی. سؤال‌ها رو هم خیلی تحت‌اللفظی می‌خونه و TypeSafe صفحه‌ای داره که جاهای ضعف مدل رو لیست کرده. دسترسی مستقیم فعلاً لیست انتظار داره، ولی از طریق AI Gateway ورسل بدون انتظار در دسترسه.
نکات کلیدی:
- Jev متن تولید نمی‌کنه و فقط سه نوع خروجی داره: Choice، Score و Noul (بله/خیر).
- هر جواب همراه احتمال هر گزینه برمی‌گرده.
- زمان پاسخ حدود ۰.۱ ثانیه، ورودی ۰.۰۴۲ دلار برای هر میلیون توکن، خروجی رایگان.
- با روش Reinforcement Learning for Calibrated Decisions آموزش دیده تا احتمال‌هاش واقعی باشن.
- دقت روی بنچمارک TypeSafe حدود ۶۸ درصد و فقط ورودی متنی قبول می‌کنه.
- از طریق Vercel AI Gateway بدون لیست انتظار قابل استفاده‌ست.
