OrcaSAQ2 27B: مدل ۲۷ میلیاردی که تو ۱۲ گیگ جا میشه
هوش مصنوعیخلاصهٔ کامل‌تر
OrcaSAQ2 27B یه چک‌پوینت کوانتیزه‌شده از Qwen3.8-27B ـه که OrcaRouter با لایسنس Apache-2.0 منتشرش کرده؛ کوانتیزه‌شده یعنی وزن‌های مدل با دقت عددی خیلی کمتری ذخیره شدن. حجمش از ۵۴ گیگابایت BF16 اومده پایین به ۱۲.۳ گیگابایت، یعنی ۷۷.۲ درصد کمتر. نکتهٔ اصلی همینه: یه مدل استدلالی ۲۷ میلیاردی به‌جای سرور چندکارته، روی یه GPU شونزده گیگی بالا میاد.
روش فشرده‌سازی یکنواخت نیست. به‌جای اینکه همهٔ وزن‌ها ۳ بیتی بشن، به بخش‌های حساس‌تر شبکه بیت بیشتر و به بخش‌های مقاوم‌تر بیت کمتر داده شده و میانگین دیکودر میشه ۳.۲۱ بیت به ازای هر وزن. نویسنده هشدار می‌ده که OrcaRouter استراتژی کالیبراسیون و قواعد تخصیص دقت رو منتشر نکرده و همهٔ عددهای مدل‌کارت خودگزارش‌شده‌ان، بدون بنچمارک شخص ثالث. پس بهتره مثل ادعای فروشنده نگاهشون کنی و روی کار خودت تستشون کنی.
خود مدل‌کارت هم می‌گه کوانتیزه‌سازی از نظر ریاضی بی‌افت نیست. روی WikiText-2 پرپلکسیتی از ۵.۶۴۶۸ رفته به ۵.۶۴۸۲، فقط ۰.۰۲ درصد فرق. ولی توافق توکن Top-1 با مدل اصلی ۹۳.۲ درصده، یعنی تقریباً از هر ۱۴ تصمیم توکنی یکیش فرق داره، و میانگین KL divergence برابر ۰.۰۳۱ ـه. استدلال مقاله اینه که تو یه حلقهٔ ایجنتی چندمرحله‌ای، همون یه توکن متفاوت می‌تونه فراخوانی ابزار رو عوض کنه و از اونجا هر تصمیم بعدی بره یه مسیر دیگه.
روی بنچمارک‌ها، OrcaRouter نمرهٔ ۷۰.۰ روی SWE-bench Verified و ۵۸.۴ روی Terminal-Bench 2.1 گزارش کرده. برای مقایسه، همون جدول‌ها Claude Sonnet 4.6 رو ۷۹.۶ و Gemini 3 رو ۷۶.۲ نشون می‌دن، در حالی که Qwen3-Coder-480B-A35B با ۶۹.۶ و GPT-4.1 با ۵۴.۶ پایین‌تر از OrcaSAQ2 نشستن. خود مدل‌کارت تذکر می‌ده که نمرهٔ ایجنتی به اسکفولد، ابزارهای در دسترس، بودجهٔ توکن استدلال و محیط اجرا وابسته‌ست، پس این یه رتبه‌بندی کنترل‌شده نیست.
از نظر اجرا، بنچمارک‌ها زیر سقف ۱۵.۷ گیگابایت حافظهٔ GPU گرفته شدن و مدل‌کارت پیشنهاد می‌ده روی کارت ۱۶ گیگی حدود ۳۲ هزار توکن کانتکست تعاملی رو نقطهٔ شروع بذاری، هرچند معماری تا ۲۶۲ هزار توکن رو پشتیبانی می‌کنه. MTP یا پیش‌بینی چندتوکنی هم سرعت تک‌جریانی رو از ۶۵.۳ به ۹۰.۱ توکن بر ثانیه می‌بره بالا، ولی زیر بار همزمان برعکس میشه: با MTP خاموش ۳۳۲ تا ۳۳۳ توکن بر ثانیه می‌گیری و با روشنش فقط ۲۱۹ تا ۲۲۰. یعنی برای دستیار کدنویسی تک‌کاربره روشنش کن، برای سرویس‌دهی انبوه خاموش.
نکات کلیدی:
- حجم چک‌پوینت ۱۲.۳ گیگابایت با میانگین ۳.۲۱ بیت به ازای هر وزن، در برابر ۵۴ گیگابایت نسخهٔ BF16
- توافق توکن Top-1 با مدل اصلی ۹۳.۲ درصد و میانگین KL divergence برابر ۰.۰۳۱
- MTP سرعت تک‌جریانی رو ۳۸ درصد بالا می‌بره ولی ظرفیت KV cache رو از ۲۹٬۳۵۴ به ۱۴٬۵۶۳ توکن نصف می‌کنه
- اجرا فقط از مسیر vLLM و یه پکیج کرنل اختصاصیه؛ مسیر معمول transformers پشتیبانی نمی‌شه
- این نسخه فقط متنیه و برج بینایی مدل پایه توش نیست
- روش کوانتیزه‌سازی اختصاصی و منتشرنشده‌ست، هرچند وزن‌ها و لایسنس Apache-2.0 بازن
