‏Jeff؛ دسته‌بندی zero-shot با مدل‌های کوچیک

تو صفحهٔ پروژه اومده که Jeff یه سری مدل کوچیک تصمیم‌گیره: فاین‌تیون‌های Qwen3.5 (نسخه‌های 0.8B و 2B) و Gemma 4 E2B که کارشون دسته‌بندی zero-shot ـه، یعنی دسته‌ها لازم نیست تو دادهٔ آموزش بوده باشن و خودت با چند کلمه توصیفشون می‌کنی. وضعیت رو می‌نویسی، گزینه‌ها رو لیست می‌کنی، و مدل با یه forward pass برای هر گزینه یه احتمال کالیبره‌شده می‌ده. نه متنی تولید می‌شه نه چیزی برای پارس کردن می‌مونه، و همین باعث می‌شه حدود ۲۲ میلی‌ثانیه روی RTX PRO 6000 و ۲۸ میلی‌ثانیه روی مک M4 Max (با MLX) جواب بده.

فرمت درخواست همون فرمت Jev ـه و می‌تونی چند سوال مستقل رو یه‌جا بپرسی. سه نوع سوال داره: choice (انتخاب یکی از حداکثر ۲۶ گزینه)، noul (بله/خیر که به شکل احتمال برمی‌گرده) و score (یه نقطه روی مقیاسی که خودت توصیف می‌کنی):

{
  "state": "Refund request: the customer says the parcel arrived crushed and wants their money back.",
  "questions": {
    "route": {"type": "choice", "instructions": "Which team should handle this?",
              "criteria": {"1": "Refunds and payments", "2": "Damaged or lost parcels"}},
    "angry": {"type": "noul", "instructions": "Is the customer angry?"}
  }
}

جواب هر سوال شامل احتمال هر گزینه، گزینهٔ انتخاب‌شده و یه عدد confidence ـه.

روی بنچمارک‌ها، سازنده‌ها Jeff رو با Jev مقایسه کردن: میانگین پنج بنچمارک برای Jeff-Qwen3.5-2B عدد ۸۳.۱ شده در برابر ۸۳.۰ برای Jev، و همون مدل 0.8B از ۴۵.۳ حالت آموزش‌ندیده به ۷۹.۱ رسیده. جاهایی که کار دسته‌بندی و grounding (یعنی سنجیدن این‌که جواب به متن منبع وفاداره یا نه) مطرحه جلو می‌زنه، مثل ۹۶.۴ در Financial PhraseBank مقابل ۷۷.۰، و ۸۸.۹ در RAGTruth مقابل ۷۷.۳. ولی خودشون تاکید دارن که بنچمارک‌های استدلالی داستان دیگه‌ایه: BBH فقط ۶۸.۰ مقابل ۹۴.۳، و ردهٔ سخت JevBench هم ۵۳.۳ مقابل ۷۳.۳.

نکتهٔ جالب دیگه اینه که همه‌چیز محلی ساخته شده: آموزش روی یه GPU ورک‌استیشنی RTX PRO 6000 (مدل 0.8B حدود ۲ ساعت، مدل 2B حدود ۳.۵ ساعت)، دادهٔ آموزشی مصنوعی از یه مدل باز روی دو DGX Spark، و تست روی مک‌بوک. هیچ GPU ابری و هیچ خروجی مدل بسته‌ای تو دادهٔ آموزش نیست. اگه zero-shot برات کافی نبود، به گفتهٔ سازنده‌ها یه فاین‌تیون کوتاه روی مثال‌های خودت جواب می‌ده: فاین‌تیون ناوبری صوتی‌شون با حدود ۱۱ هزار نمونه، تو کمتر از نیم ساعت روی یه GPU، دقت رو از ۳۱.۷٪ به ۹۵.۸٪ برد.

محدودیت‌ها رو هم صریح نوشتن. این یه classifier ـه نه planner: باید خودت تو کد بگی هر گزینه به چی منجر می‌شه، چون اگه ازش بخوای آینده رو پیش‌بینی کنه بهتر از شانس عمل نمی‌کنه. هر سوال حداکثر ۲۶ گزینه می‌گیره و سرور بیشتر از اون رو رد می‌کنه. مدل 2B تو بازی‌ها ضعیف‌تر از 0.8B بازی می‌کنه، پس نمرهٔ بنچمارک بالاتر تضمین نتیجهٔ بهتر نیست. فقط انگلیسی و فقط متن هم کار می‌کنه، و پروژه رسما وابسته به سازندهٔ Jev نیست.

نکات کلیدی:

• سه مدل منتشر شده: Jeff-Qwen3.5-0.8B، Jeff-Qwen3.5-2B و Jeff-Gemma4-E2B؛ کد با لایسنس MIT و وزن‌ها با Apache 2.0
• سرعت: ۲۲ میلی‌ثانیه روی RTX PRO 6000، ۲۸ میلی‌ثانیه روی M4 Max با MLX، و ۴۶۳ میلی‌ثانیه روی CPU با ۳۲ ترد
• وزن مدل 0.8B فقط ۱.۷ گیگابایته، پس راحت لوکال بالا میاد
• میانگین پنج بنچمارک: 83.1 برای مدل 2B مقابل 83.0 برای Jev، ولی BBH فقط ۶۸.۰ مقابل ۹۴.۳
• فاین‌تیون اختصاصی با ~۱۱ هزار نمونه دقت رو از ۳۱.۷٪ به ۹۵.۸٪ رسوند، زیر نیم ساعت روی یه GPU
• سقف ۲۶ گزینه در هر سوال؛ نسخه‌های بازآموزی‌شده تا ۲۵۵ گزینه در راهه