‏Clef 27B کلادفلر: مدلی که به جای حرف زدن، احتمال می‌ده

طبق این مقاله، Clef 27B یه مدل تصمیم‌گیری (decision model، یعنی مدلی که به جای نوشتن جواب، بین گزینه‌های ثابت انتخاب می‌کنه) از کلادفلره. ورودی می‌تونه متن، JSON، تصویر یا فریم‌های ویدیو باشه. کنارش چند سؤال تایپ‌شده با جواب‌های مشخص می‌دی و مدل برای هر گزینه یه احتمال calibrated (یعنی عددی که واقعاً به درصد اطمینان نزدیکه) برمی‌گردونه. همه‌ی این کار تو یه forward pass انجام می‌شه، یعنی ورودی فقط یه بار از مدل رد می‌شه و خبری از تولید توکن به توکن نیست.

مثلاً یه تیکت پشتیبانی که می‌گه قطعی API جلوی سفارش‌ها رو گرفته. دو تا سؤال هم‌زمان پرسیده می‌شه: کدوم تیم باید رسیدگی کنه و آیا فوریه؟ Clef هر دو رو تو همون یه پاس جواب می‌ده: «technical» با ۱۰۰٪ و «urgent: yes» با ۱۰۰٪. نویسنده می‌گه این برای سیستم‌های دسته‌بندی و routing مهمه، چون با یه مدل چت‌محور باید جواب متنی رو parse کنی که هم کندتره و هم ممکنه خروجی خراب برگرده.

تو تست امنیتی، یه سناریوی social engineering (یعنی فریب دادن آدم‌ها برای گرفتن دسترسی) طراحی شده بود: یه کارمند ادعا می‌کنه مدیرش دسترسی اضطراری رو تأیید کرده، ولی هیچ مدرکی نداره. Clef فقط ۵.۹٪ احتمال داد که دسترسی داده بشه، ۷۶٪ گفت این مهندسی اجتماعیه و پیشنهاد داد موضوع به تیم امنیت ارجاع بشه. مدل‌های کوچیک‌تر این مقایسه، یعنی Lia و OpenJ، تو این تله افتاده بودن. نتیجه‌ای که نویسنده می‌گیره اینه که برای کنترل دسترسی یا تشخیص تقلب، مدل کوچیک و ارزون لزوماً انتخاب امنی نیست.

نقطه‌ی قوت اصلی Clef چندوجهی بودنشه. یه اسکرین‌شات از یه سایت خبری ازبکی رو با ۹۵.۹٪ اطمینان ازبکی تشخیص داد، موضوعش رو جنگ اوکراین (۹۷.۸٪) و لحنش رو خنثی (۹۳.۱٪) دونست، هرچند سر یه جزئیات مربوط به سازمان ملل فقط ۳۹.۶٪ داد. یه نمودار تیتراسیون شیمی سطح دانشگاه رو هم با اطمینان بالای ۹۶٪ درست خوند. از یه ویدیوی ۸ ثانیه‌ای بی‌دیالوگ هم برداشت معقولی داشت و فقط ۱۶٪ احتمال خطر داد.

تو بنچمارک‌هایی مثل tool retrieval، کارهای بانکی شبیه API و دسته‌بندی بالینی، گزارش شده که Clef با فاصله‌ی زیاد جلوتر بوده، حتی از Jev که قبلاً بهترین بود. فقط تو سؤال «کی باید کار رو به یه آدم سپرد» Jev هنوز بهتره. Lia هم تو همه‌ی دسته‌ها آخر شد. یه نکته‌ی مهم: اجرای کامل مدل به‌صورت لوکال، با KV cache، نزدیک ۵۴ گیگابایت VRAM مصرف کرد. یعنی با کارت گرافیک معمولی یا لپ‌تاپ نمی‌شه اجراش کرد.

نکات کلیدی:

• Clef 27B با لایسنس Apache 2.0 منتشر شده و متن تولید نمی‌کنه، فقط احتمال هر گزینه رو برمی‌گردونه.
• ورودی می‌تونه متن، JSON، تصویر یا فریم ویدیو باشه و چند سؤال تو یه forward pass جواب داده می‌شن.
• تو تست social engineering فقط ۵.۹٪ احتمال دادن دسترسی و ۷۶٪ احتمال فریب داد.
• تو بنچمارک‌ها از Jev جلو زد، به‌جز سؤال «کی کار رو به آدم بسپاریم».
• اجرای لوکال کامل مدل حدود ۵۴ گیگابایت VRAM لازم داره.