OrcaSAQ2 27B؛ مدل ۵۴ گیگی که شد ۱۲ گیگ
هوش مصنوعیخلاصهٔ کامل‌تر
به گفتهٔ OrcaRouter، OrcaSAQ2 27B نسخهٔ فشردهٔ Qwen3.8-27B هست که چک‌پوینت ۵۴ گیگابایتی BF16 رو به ۱۲.۳ گیگابایت رسونده، یعنی ۷۷.۲ درصد کوچیک‌تر. روشش رو کوانتیزهٔ mixed-precision حساسیت‌محور می‌گه: یعنی همهٔ وزن‌ها به یه اندازه فشرده نمی‌شن، وزن‌هایی که بیشتر روی کیفیت خروجی اثر دارن بیت بیشتری می‌گیرن و بقیه محکم‌تر فشرده می‌شن. میانگین کل درمیاد ۳.۲۱ بیت برای هر وزن.
جزئیات روش منتشر نشده. تو کارت مدل (model card) صریح نوشته که استراتژی کالیبراسیون، قاعدهٔ تخصیص بیت و فرمت بسته‌بندی فعلاً افشا نمی‌شه، پس تکنیکش اختصاصیه و تنها چیزی که می‌تونی راستی‌آزمایی کنی نتیجه‌شه. مدل پایه معماری Qwen3_5ForCausalLM داره با ۶۴ لایه و طراحی ترکیبی ۴۸ لایهٔ Gated DeltaNet و ۱۶ لایهٔ attention کامل. همین ترکیبه که اجازه می‌ده کانتکست ۲۶۲ هزار توکنی جواب بده بدون اینکه همهٔ لایه‌ها هزینهٔ کامل attention رو بدن.
سه عدد پشت این ادعای وفاداری وایستاده، همه روی WikiText-2: پرپلکسیتی از ۵.۶۴۶۸ رفته ۵.۶۴۸۲ که فقط ۰.۰۲ درصد بدتره، توافق توکن اول ۹۳.۲ درصد، و میانگین KL divergence ۰.۰۳۱. اون ۹۳.۲ درصد یعنی حدوداً از هر ۱۴ توکن یکی با مدل BF16 فرق می‌کنه؛ ولی KL پایین نشون می‌ده وقتی اختلاف پیش میاد، انتخاب بین دو توکن هم‌ارزه نه یه خروجی پرت. خودشون هم می‌گن این اعداد رفتار یکسان تو کار واقعی رو تضمین نمی‌کنن.
برای همین بنچمارک‌های افق‌بلند رو هم گذاشتن. تو SWE-bench Verified که تسک‌های واقعی گیت‌هاب رو تست می‌کنه ۷۰.۰ گرفته، یه سر بالاتر از Qwen3-Coder-480B-A35B با ۶۹.۶ که حدود ۱۸ برابر بزرگ‌تره، و پایین‌تر از Claude Sonnet 4.6 با ۷۹.۶. تو Terminal-Bench 2.1 هم ۵۸.۴ گرفته، چسبیده به ۵۸.۵ که Claude Sonnet 4.6 با Claude Code گرفته. خودشون تأکید می‌کنن این جدول‌ها با scaffold و ابزار متفاوت گرفته شدن، پس رتبه‌بندی قطعی نیست.
استدلال اصلی مقاله همین‌جاست: پرپلکسیتی فقط می‌پرسه توزیع توکن بعدی چقدر شبیهه، ولی یه ایجنت باید بعد از ده‌ها تصمیم پشت‌سرهم هنوز کار رو تموم کنه. یه توکن اشتباه تو یه جواب تک‌مرحله‌ای ممکنه اصلاً به چشم نیاد، ولی اگه همون توکن یه tool call رو عوض کنه، حالت محیط عوض میشه و همهٔ تصمیم‌های بعدی روی اون حالت غلط سوار می‌شن. پس خطای کوچیک هر قدم، تو یه مسیر بلند روی هم جمع میشه.
نکات کلیدی:
- چک‌پوینت از ۵۴ گیگابایت BF16 به ۱۲.۳ گیگابایت رسیده، با میانگین ۳.۲۱ بیت برای هر وزن
- پرپلکسیتی ۰.۰۲ درصد بدتر، توافق توکن اول ۹۳.۲ درصد، میانگین KL divergence ۰.۰۳۱
- SWE-bench Verified ۷۰.۰ و Terminal-Bench 2.1 ۵۸.۴ روی جدول‌های عمومی
- روی یه GPU ۱۶ گیگی جا میشه و حدود ۳.۷ گیگ برای KV cache می‌مونه
- فقط متنیه و تصویر رو پشتیبانی نمی‌کنه؛ برای اجرا به پکیج OrcaSAQ2-kernel روی vLLM نیاز داره
- لایسنس Apache-2.0 و کانتکست معماری تا ۲۶۲٬۱۴۴ توکن
