‏Kev 1.0: مدل‌های تصمیم‌گیری متن‌باز از جرد پالمر

جرد پالمر، معاون مهندسی Cognition، تو این پست Kev 1.0 رو معرفی کرده: چهار مدل متن‌باز برای تصمیم‌گیری با اندازه‌های 0.8B، 4B، 9B و 27B پارامتر. نویسنده می‌گه دنبال همون رابط Jev از TypeSafe بوده (یعنی مدلی که متن، سؤال و گزینه‌ها رو می‌گیره و برای هر گزینه احتمال برمی‌گردونه)، ولی با وزن‌هایی که خودش بتونه اجرا و fine-tune کنه. Kev همون API رو داره، پس اپ‌هایی که با SDK شرکت TypeSafe ساخته شدن فقط با عوض کردن endpoint و اسم مدل سوئیچ می‌کنن. وزن‌ها Apache-2.0 هستن و کد سرور روی GPU و Apple Silicon (از طریق MLX) اجرا می‌شه.

طرز کارش اینطوریه: Kev یه pointer head (یعنی یه لایه که گزینه‌های داده‌شده رو امتیاز می‌ده) به یه مدل زبانی اضافه می‌کنه. هیچ توکن جوابی تولید نمی‌کنه؛ امتیازها با softmax به احتمال تبدیل می‌شن. سند فقط یه بار خونده و کش می‌شه و هر سؤال از همون حالت کش‌شده شاخه می‌گیره، پس سه سؤال بپرسی یا سی‌تا، متن یه بار پردازش می‌شه. مثلاً روی H200، خوندن یه سند 64k توکنی حدود 9.4 ثانیه طول می‌کشه و سؤال‌های بعدی حدود 0.7 ثانیه. آستانهٔ اطمینان رو هم کد خودت تعیین می‌کنه.

مدل‌های کوچیک‌تر روی Qwen3.5 با LoRA (یعنی وزن‌های اضافهٔ کوچیک، در حالی که مدل پایه ثابت می‌مونه) آموزش دیدن. ولی Kev-27B جدید روی Qwen3.8-27B ساخته شده و همهٔ وزن‌هاش fine-tune شدن. داده‌ها حدود 146 هزار نمونه و 337 هزار سؤال بوده، با سندهای تا 32k توکن. یه اجرای کامل حدود 16 ساعت روی هشت H200 طول کشیده، یعنی تقریباً 650 دلار. نویسنده می‌گه مدل جدید روی قراردادهای حقوقی طولانی ضعیف‌تر و بیش‌ازحد مطمئن‌تره. Kev-9B هم با یه دور آموزش اضافه، مثلاً تو استدلال روی قوانین از 58٪ به 83٪ رسیده.

تو تست تعمیم روی 14 دیتاست عمومی که تو آموزش نبودن، Kev-27B امتیاز 52.3 گرفته و Kev-9B امتیاز 41.0 (این یه شاخص اصلاح‌شده برای حدس شانسیه، نه درصد جواب درست). از نظر calibration (یعنی اینکه احتمال‌ها با درصد واقعی درستی بخونن)، جواب‌هایی که Kev-27B حدود 85٪ مطمئنه، حدود 85٪ وقتا درستن. نویسنده خودش تأکید می‌کنه که این نتایج از ابزار ارزیابی خودشه و انتخاب مدل کاملاً کور نبوده.

برای fine-tune روی دادهٔ خودت، دو تا skill آماده شده: kev-finetune و kev-deploy که با Claude Code، Codex و Devin کار می‌کنن و Kev رو روی Modal مستقر می‌کنن. یه fine-tune کوچیک Kev-4B حدود 1 دلار هزینهٔ GPU داره. محدودیت اصلی اینه که Kev فقط گزینه‌هایی که خودت می‌دی رو امتیاز می‌ده، توضیح نمی‌نویسه و اطلاعات گم‌شده رو پیدا نمی‌کنه.

نکات کلیدی:

• چهار مدل 0.8B، 4B، 9B و 27B با وزن‌های Apache-2.0 روی Hugging Face
• API سازگار با Jev از TypeSafe؛ فقط endpoint و اسم مدل عوض می‌شه
• Kev-4B روی یه مک M5 با 32GB، پنج سؤال رو در 721 میلی‌ثانیه جواب می‌ده (با کش 136 میلی‌ثانیه)
• Kev-27B برای ورودی 64k توکنی بیشتر از 80GB حافظه می‌خواد و H200 یا B200 لازم داره
• نسخه‌های قبلی با jaredpalmer/kev-27b@v1-lora و jaredpalmer/kev-9b@v1 هنوز در دسترسن