OrcaSAQ2 27B: مدل ۱۲ گیگی که با غول‌ها رقابت می‌کنه
هوش مصنوعیخلاصهٔ کامل‌تر
OrcaSAQ2 27B نسخهٔ کوانتیزه‌شدهٔ مدل Qwen3.8-27B ـه، یعنی همون مدل با وزن‌هایی که دقت عددیشون رو پایین آوردن تا حجم کم بشه. همین کار چک‌پوینت ۵۴ گیگابایتی BF16 رو رسونده به ۱۲.۳ گیگابایت، یعنی ۷۷.۲ درصد کوچیک‌تر. به گفتهٔ نویسنده، روش کارش چیزیه که OrcaRouter بهش می‌گه کوانتیزه‌سازی mixed-precision حساسیت‌آگاه: به‌جای اینکه همهٔ وزن‌ها رو با تعداد بیت ثابت فشرده کنه، به وزن‌های حساس‌تر بیت بیشتر و به بقیه بیت کمتر می‌ده. میانگین نهایی ۳.۲۱ بیت به ازای هر وزنه.
نویسنده اشاره می‌کنه که OrcaRouter استراتژی کالیبراسیون، قواعد تخصیص دقت و شیوهٔ بسته‌بندی وزن‌ها رو منتشر نکرده، پس بازتولید مستقل این روش عملاً ممکن نیست. چیزی که منتشر شده خروجیشه: روی WikiText-2 پرپلکسیتی از ۵.۶۴۶۸ رفته به ۵.۶۴۸۲ (اختلاف ۰.۰۲ درصد)، توافق توکن Top-1 با مدل اصلی ۹۳.۲ درصده و میانگین KLD برابر ۰.۰۳۱. یعنی حدود ۶.۸ درصد مواقع، مدل فشرده توکن بعدی رو جور دیگه‌ای انتخاب می‌کنه.
استدلال اصلی مقاله اینه که پرپلکسیتی برای مدل‌های ایجنتی معیار ضعیفیه. تو حلقهٔ نقشه‌کشیدن، عمل کردن، دیدن نتیجه و تصمیم بعدی، یه توکن اشتباه می‌تونه یه tool call رو خراب کنه یا مسیر فایل رو غلط بخونه. اون خطا فقط تو یه توکن نمی‌مونه؛ وضعیت محیط رو عوض می‌کنه و هر تصمیم بعدی هم روی همون وضعیت غلط ساخته میشه. برای همین گول زدن بنچمارک‌های ایجنتی خیلی سخت‌تر از بالا بردن نمرهٔ پرپلکسیتیه.
روی SWE-bench Verified که مدل باید یه ایشوی واقعی گیت‌هاب رو با پچی حل کنه که تست‌های مخفی رو پاس کنه، OrcaSAQ2 نمرهٔ ۷۰.۰ گرفته: جلوتر از Qwen3-Coder-480B-A35B با ۶۹.۶ و Gemini 2.5 Pro با ۶۳.۸، ولی عقب‌تر از Claude Sonnet 4.5 با ۷۷.۲ و Claude Sonnet 4.6 با ۷۹.۶. روی Terminal-Bench 2.1 هم ۵۸.۴ گرفته، تقریباً چسبیده به Claude Sonnet 4.6 داخل Claude Code با ۵۸.۵.
نویسنده تأکید می‌کنه این عددها نقطهٔ مرجع‌ان نه مقایسهٔ کنترل‌شده؛ تو Terminal-Bench حتی یه مدل ثابت با هارنس متفاوت نمرهٔ متفاوت می‌گیره، مثلاً Claude Opus 4.6 با Claude Code ۷۰.۱ و با Terminus 2 ۶۳.۸. از نظر عملی هم ۱۲.۳ گیگ وزن روی کارت ۱۶ گیگی حدود ۳.۷ گیگ جا برای KV cache می‌ذاره، یعنی نقطهٔ شروع حدود ۳۲ هزار توکن کانتکست تعاملی. با vLLM و MTP سرعت تک‌جریانی می‌رسه به ۹۰.۱ توکن بر ثانیه، ۳۸ درصد بیشتر از حالت خاموش.
نکات کلیدی:
- چک‌پوینت از ۵۴ گیگابایت BF16 به ۱۲.۳ گیگابایت رسیده، با میانگین ۳.۲۱ بیت به ازای هر وزن
- اختلاف پرپلکسیتی روی WikiText-2 فقط ۰.۰۲ درصده، ولی توافق توکن Top-1 با مدل اصلی ۹۳.۲ درصده
- نمرهٔ SWE-bench Verified برابر ۷۰.۰ و Terminal-Bench 2.1 برابر ۵۸.۴
- روش کوانتیزه‌سازی اختصاصیه و جزئیاتش منتشر نشده، پس مستقل قابل بازتولید نیست
- روی یه GPU شانزده گیگی بالا میاد، با کانتکست ۲۶۲ هزار توکنی و سرویس‌دهی از طریق vLLM
