‏Clef: مدل تصمیم‌گیری متن‌باز کلودفلر

کلودفلر دو مدل جدید به اسم Clef و Clef-flash منتشر کرده که از نوع decision model هستن، یعنی مدلی که به جای تولید متن آزاد، یه خروجی ساختاریافته و محدود با احتمال برمی‌گردونه. این ایده چند هفته پیش با مدل Jev از شرکت Typesafe سر زبون‌ها افتاد. فرقش با LLMها اینه که جوابش قابل پیش‌بینیه و لازم نیست برای هر دسته‌بندی جدید مدل رو دوباره آموزش بدی. هر دو مدل روی Workers AI میزبانی می‌شن و با API مدل Jev کاملاً سازگارن.

مثلاً یه پیام پشتیبانی رو بهش می‌دی و می‌پرسی فوریه یا نه و کدوم تیم باید رسیدگی کنه. مدل برای هر سؤال یه جواب تایپ‌شده با احتمال برمی‌گردونه و کدت می‌تونه بر اساسش تیکت رو مسیریابی کنه یا به یه آدم بسپره. کلودفلر Clef رو تو تیم Threat Intelligence برای دسته‌بندی دامنه‌ها تست کرده: سایت رو توی ۲.۲ ثانیه گرفت، رندر کرد و دسته‌بندی کرد، در حالی که gpt-oss-120b همین کارو تو ۴.۷ ثانیه انجام داد و فقط دو دسته برگردوند.

توی درخواست، state همون ورودی‌ایه که باید درباره‌ش تصمیم گرفت و questions سؤال‌ها رو با نوع جوابشون تعریف می‌کنه. نوع choice یکی از گزینه‌ها رو انتخاب می‌کنه و نوع score یه درجه‌بندی مثل شدت مشکل برمی‌گردونه:

"state": "Checkout has been failing for every customer for the last hour.",
"questions": {
  "team": {
    "type": "choice",
    "instructions": "Which team should handle this request?",
    "criteria": { "billing": "Payments, invoices, and refunds", "technical": "Outages, errors, and configuration" }
  },
  "severity": { "type": "score", "criteria": ["No impact", "Minor", "Major", "Critical"] }
}

Clef یه vision encoder داره و تصویر هم دسته‌بندی می‌کنه، در حالی که Jev فعلاً فقط متن می‌فهمه. پنجره context هم ۶۴ هزار توکنه، در مقابل ۳۲ هزار توکن Jev. توی بنچمارک‌ها Clef تو BANKING77 با ۹۴.۲۰ و CLINC150 با ۹۷.۴۳ اول شده، ولی تو When2Call و BRIGHT، Jev جلوتره. میانه تأخیر Clef حدود ۲۰۹ میلی‌ثانیه و Clef-flash حدود ۳۹ میلی‌ثانیه‌ست، در حالی که Jev روی ۵۲۴ میلی‌ثانیه‌ست.

پایه این مدل‌ها Qwen هست: Qwen3.8-27B برای Clef و Qwen3.5-9B برای Clef-flash که وزن‌هاشون فریز شده. موقع اجرا مدل فقط یه مرحله prefill (یعنی یه بار خوندن کل ورودی بدون تولید توکن) انجام می‌ده و بعد همه گزینه‌های مجاز اسکیما رو موازی امتیاز می‌ده. چون متن واسطه‌ای تولید نمی‌شه، خیلی سریع‌تر از LLMهای معمولیه. برای آموزش هم از adapterهای low-rank با رتبه ۲۵۶، Brier loss برای تنظیم احتمال‌ها و یه روش RL خودشون به اسم RLCD استفاده کردن.

کلودفلر یه سرویس fine-tuning مبتنی بر RL هم راه انداخته که اول با تیم مهندس‌های FDE خودش و بعداً به‌صورت self-serve ارائه می‌شه. ترافیک از AI Gateway جمع می‌شه و دیتاست می‌سازه، Containers محیط تست RL رو فراهم می‌کنه، یه ابزار جدید به اسم Trainer وزن‌ها رو آپدیت می‌کنه و مدل نهایی دوباره روی Workers AI دیپلوی می‌شه. کلودفلر می‌گه درخواست‌ها و جواب‌ها رو نه می‌خونه، نه ذخیره می‌کنه و نه باهاشون آموزش می‌ده، مگه اینکه خودت fine-tuning بخوای.

نکات کلیدی:

• Clef و Clef-flash با لایسنس Apache 2.0 روی Hugging Face منتشر شدن و روی Workers AI در دسترسن
• پنجره context مدل Clef ۶۴ هزار توکنه، دو برابر Jev، و تصویر هم قبول می‌کنه
• میانه تأخیر: Clef حدود ۲۰۹ms، Clef-flash حدود ۳۹ms و Jev حدود ۵۲۴ms
• پایه مدل‌ها Qwen3.8-27B و Qwen3.5-9B هست و مرحله تصمیم بدون تولید توکن انجام می‌شه
• API هر دو مدل با Jev سازگاره، پس جابه‌جایی ساده‌ست