‏اجرای لوکال Clef 27B، مدل تصمیم‌گیر Cloudflare

Clef یه decision model با ۲۷ میلیارد پارامتره که Cloudflare با لایسنس Apache 2.0 منتشرش کرده. decision model یعنی مدلی که به‌جای نوشتن جواب، از بین چند گزینهٔ از پیش تعیین‌شده به هر کدوم یه احتمال calibrated می‌ده. Clef یه موقعیت می‌گیره (متن، عکس، ویدیو یا JSON)، یه سؤال تایپ‌شده با جواب‌های مشخص هم می‌گیره و تو یه forward pass جواب می‌ده. تولید توکن‌به‌توکن نداره، پس نه streaming هست و نه احتمال اینکه مدل از مسیر خارج بشه و پرحرفی کنه.

فرقش با بقیهٔ decision modelها، مثل مدل‌هایی که تو تست‌های کامیونیتی بهشون CLM، Jev، Kev و Lia می‌گن، چندوجهی بودنشه. یعنی عکس و فریم‌های ویدیو رو هم مثل متن تحلیل می‌کنه و باز هم خروجی ساختاریافته و احتمالی می‌ده، بدون اینکه لازم باشه جدا caption یا OCR بگیری. این مدل برای جاهایی به درد می‌خوره که تصمیم سریع، ساختاریافته و قابل حسابرسی لازمه: تشخیص تقلب، کنترل دسترسی، triage، مسیریابی تیکت پشتیبانی یا دسته‌بندی سند.

تو یه تست، یه پیام ساختگی از یه «کارمند» به Clef دادن که درخواست دسترسی اضطراری داشت، بدون هیچ راه تأیید و با دور زدن روال عادی. Clef فقط ۵.۹ درصد احتمال برای دادن دسترسی و ۷۶ درصد احتمال مهندسی اجتماعی داد و پیشنهاد کرد موضوع به تیم امنیت ارجاع بشه. طبق مقاله، مدل‌های کوچیک‌تر تو مقایسه‌های قبلی گول خورده بودن. Clef همچنین می‌تونه چند سؤال بی‌ربط رو هم‌زمان روی یه ورودی جواب بده. مثلاً برای تیکت قطعی API، تیم مسئول (فنی) و فوری بودن (بله) هر دو با ۱۰۰ درصد اطمینان تو یه pass برگشتن.

برای اجرای لوکال، مدل با KV cache (یعنی حافظه‌ای که مدل نتیجهٔ محاسبه‌های قبلی رو توش نگه می‌داره) کمتر از ۵۴ گیگابایت VRAM مصرف کرد. پس یه GPU با ۴۸ گیگ یا بیشتر، مثل کارت‌های workstation یا GPUهای اجاره‌ای، بدون تقسیم مدل بین چند کارت کافیه. به گفتهٔ نویسنده، چون خروجی طولانی تولید نمی‌شه، هزینهٔ هر query بعد از لود کمه. بخش سنگین نگه داشتن کل پارامترها و پایپ‌لاین پردازش تصویر و ویدیو تو حافظه‌ست. پیشنهاد مقاله اینه که بسته به quantization، یه GPU بین ۴۸ تا ۸۰ گیگ در نظر بگیری.

تو تست‌های تصویری هم نتایج خوب بود. اسکرین‌شات یه سایت خبری ازبکی رو گرفت، زبان رو با ۹۵.۹ درصد، موضوع رو با ۹۷.۸ درصد و لحن خنثی رو با ۹۳.۱ درصد درست تشخیص داد و فقط سر یه مخفف خطا کرد (۳۹.۶ درصد). روی نمودار تیتراسیون یه اسید دوپروتونه هم نوع نمودار (۹۹.۱٪)، نوع اسید (۹۷.۸٪) و تعداد نقطه‌های هم‌ارزی (۹۶.۷٪) رو درست خوند.

تو بنچمارک‌ها، Clef تو بیشتر دسته‌ها مثل tool retrieval، مسیریابی API و دسته‌بندی بالینی جلوتر بود. فقط تو تصمیم اینکه کی یه موقعیت باید به آدم سپرده بشه، مدل Jev هنوز بهتر عمل کرد. نویسنده معتقده اگه کارت فقط متنیه، یه decision model کوچیک‌تر و ارزون‌تر شاید کافی باشه، ولی اگه یه پایپ‌لاین برای عکس، ویدیو و متن چندزبانه می‌خوای، Clef گزینهٔ خوبی برای شروع بررسیه.

نکات کلیدی:

• Clef 27B از Cloudflare با لایسنس Apache 2.0 و استفادهٔ تجاری آزاد منتشر شده
• به‌جای تولید متن، برای هر گزینه احتمال calibrated برمی‌گردونه، اون هم تو یه forward pass
• ورودی متن، عکس، فریم ویدیو و JSON رو مستقیم قبول می‌کنه
• مصرف VRAM با KV cache زیر ۵۴ گیگابایته و روی یه GPU بین ۴۸ تا ۸۰ گیگ جا می‌شه
• تو تست مهندسی اجتماعی فقط ۵.۹٪ احتمال دادن دسترسی داد و ۷۶٪ حمله تشخیص داد
• تو تصمیم ارجاع به انسان، مدل Jev هنوز از Clef بهتره