‏دیستیل کوئن۳.۸-۹B: مدل کوچیک با دانش مدل غول‌پیکر

به گزارش مای‌ایندستودیو، شرکت امپرو یه فاین‌تیون کامل به اسم کوئن۳.۸-۹B دیستیل منتشر کرده که رفتار استدلالی یه مدل معلم خیلی بزرگ‌تر -کوئن۳.۸ ۲٫۴T A95B- رو به معماری کوچیک‌تر کوئن۳.۵-۹B منتقل می‌کنه. برای این کار از حدود ۷۰ هزار ردِ استدلال (chain-of-thought) فیلترشدهٔ مدل معلم استفاده شده که ریاضی، کد، استدلال عمومی، پیروی از دستور و استفاده از ابزار رو پوشش می‌دن. نتیجه یه مدل ۹ میلیاردی متراکمه که رو یه GPU تنها اجرا می‌شه ولی نمرهٔ MMLUش به‌طرز چشمگیری از مدل پایه بالاتره.

به جای reinforcement learning، امپرو از distillation آف-پالیسی استفاده کرده: یعنی به جای این‌که مدل دانشجو خودش پاسخ تولید کنه و اصلاحش کنن، مستقیم از پاسخ‌های مدل معلم برای فاین‌تیون نظارت‌شده استفاده کردن. هر نمونهٔ آموزشی با یه بلاک شروع می‌شه و مدل دانشجو یاد گرفته سبک استدلال معلم رو تقلید کنه. مهم اینه که این یه فاین‌تیون کامله، یعنی همهٔ پارامترهای مدل آپدیت شدن، نه فقط یه لایهٔ adapter مثل LoRA.

نویسنده می‌گه رو بنچمارک MMLU (۵۷ حوزهٔ دانش، با پروتکل chain-of-thought)، دقت flexible-extract از ۰٫۵۴۶ به ۰٫۷۵۱ رسیده -بیش از ۲۰ واحد رشد- و دقت strict-match از ۰٫۲۵۱ به ۰٫۵۱۱ رسیده، یعنی بیشتر از دو برابر شده. اما تو GSM8K (مسائل ریاضی دبستانی) نتیجه برعکسه: flexible-extract از ۰٫۸۸۵ به ۰٫۸۷۰ و strict-match از ۰٫۸۷۵ به ۰٫۸۵۰ افت کرده. نویسنده این افت رو به ترکیب دیتای آموزشی ربط می‌ده که بیشتر رو ریاضی سخت و برنامه‌نویسی رقابتی متمرکز بوده، نه مسئله‌های سادهٔ حساب.

دلیل این تفاوت اینه که MMLU طیف گسترده‌ای از موضوعات رو پوشش می‌ده و مدل معلم بزرگ‌تر، ردهای استدلالی منظم‌تری تولید کرده که هم دانش هم فرمت پاسخ‌دهی رو به دانشجو منتقل کرده. مدل تحت لایسنس Apache-2.0 منتشر شده و برای استفادهٔ تجاری آزاده. نکتهٔ مهم اینه که هر پاسخ با یه بلاک شروع می‌شه که باید قبل از نمایش حذف بشه، و معماری Gated DeltaNet این مدل نیاز به کرنل‌های flash-linear-attention و نسخهٔ سازگار با CUDA از causal_conv1d داره، وگرنه اجرا کند و پرمصرف می‌شه.

نکات کلیدی:

• کوئن۳.۸-۹B دیستیل با ۷۰ هزار رد استدلال از مدل معلم ۲٫۴ تریلیونی کوئن۳.۸ ساخته شده
• دقت MMLU (flexible-extract) از ۰٫۵۴۶ به ۰٫۷۵۱ رسیده؛ strict-match از ۰٫۲۵۱ به ۰٫۵۱۱
• نمرهٔ GSM8K کمی افت کرده: از ۰٫۸۸۵ به ۰٫۸۷۰ (flexible)
• پنجرهٔ زمینهٔ ۲۶۲٬۱۴۴ توکنی کوئن۳.۵ حفظ شده و از function calling بومی پشتیبانی می‌کنه
• لایسنس Apache-2.0 داره ولی نیاز به کرنل‌های flash-linear-attention و causal_conv1d برای اجرای بهینه داره