OrcaSAQ2 27B رو روی یه کارت ۱۶ گیگی بالا بیار
هوش مصنوعیخلاصهٔ کامل‌تر
تو این مقاله اومده که OrcaSAQ2 27B، نسخهٔ کوانتیزهٔ Qwen3.8-27B، چک‌پوینتش ۱۲.۳ گیگابایته و همین باعث میشه روی یه کارت گرافیک ۱۶ گیگی معمولی جا بشه. روش فشرده‌سازی OrcaRouter حساسیت‌محوره: به وزن‌هایی که بیشتر روی کیفیت اثر دارن بیت بیشتری می‌ده و میانگین ۳.۲۱ بیت برای هر وزن درمیاد، نه یه عدد ثابت برای همهٔ لایه‌ها. پرپلکسیتی هم فقط ۰.۰۲ درصد بدتر از نسخهٔ BF16 شده.
گیر اصلی روی ۱۶ گیگ، همون حافظه‌ست. تست‌ها با سقف ۱۵.۷ گیبی‌بایت گرفته شدن و تو اون سقف، KV cache (یعنی جایی که مدل حالت توکن‌های قبلی رو نگه می‌داره) با MTP روشن حدود ۱۴٬۵۶۳ توکن و با MTP خاموش ۲۹٬۳۵۴ توکن جا می‌ده. پس با اینکه معماری تا ۲۶۲٬۱۴۴ توکن کانتکست رو پشتیبانی می‌کنه، روی این کارت واقع‌بینانه‌ش حدود ۳۲ هزار توکنه و بیشتر از اون، GPU بزرگ‌تر یا سرو چند کارتی می‌خواد.
سرعتش هم به تنظیمات بستگی داره. MTP یا multi-token prediction (یعنی مدل چند توکن جلوتر رو حدس می‌زنه و بعد دسته‌جمعی تأییدشون می‌کنه) تک‌استریم رو از ۶۵.۳ به ۹۰.۱ توکن در ثانیه می‌بره، ۳۸ درصد بهتر. ولی روی ۸ و ۱۶ استریم همزمان برعکس میشه: با MTP خاموش حدود ۳۳۲ توکن در ثانیه می‌گیری و با روشن حدود ۲۲۰. نویسنده می‌گه خودت با ترافیک واقعی‌ت تست کن، فرض نکن یکیشون همیشه بهتره.
برای بالا آوردنش به vLLM و یه پکیج کرنل اختصاصی نیاز داری، چون فرمت کوانتیزه‌ش تو vLLM استاندارد پشتیبانی نمی‌شه. دستور سرو کردنش این شکلیه:
vllm serve ./OrcaSAQ2-27B \
--max-model-len 262144 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'بعدش یه اندپوینت سازگار با OpenAI بالا میاد، پس تو کد فعلی‌ت فقط لازمه base_url رو به سرور محلی بدی. تنظیمات پیشنهادی نمونه‌برداری هم temperature 1.0 و top_p 0.95 و top_k 20 هست و thinking mode پیش‌فرض روشنه.
تو بنچمارک‌ها هم SWE-bench Verified رو ۷۰.۰ درصد زده، بالاتر از Qwen3-Coder-480B-A35B با ۶۹.۶ و GPT-4.1 با ۵۴.۶، و پایین‌تر از Gemini 3 با ۷۶.۲. تو Terminal-Bench 2.1 هم ۵۸.۴ گرفته. نویسنده تأکید می‌کنه این اعداد به scaffold و ابزار و بودجهٔ استدلال وابسته‌ن، پس رتبه‌بندی قطعی نیستن. جمع‌بندیش اینه: برای ایجنت کدنویسی و ترمینال روی کارت ارزون خوبه، برای بینایی یا کانتکست خیلی بزرگ نه، چون این چک‌پوینت فقط متنیه.
نکات کلیدی:
- چک‌پوینت ۱۲.۳ گیگابایتی روی GPU ۱۶ گیگی، تست‌شده با سقف ۱۵.۷ گیبی‌بایت
- تک‌استریم: ۶۵.۳ توکن در ثانیه با MTP خاموش و ۹۰.۱ با روشن، یعنی ۳۸ درصد سریع‌تر
- چند استریمی (۸ و ۱۶ استریم): حدود ۳۳۲ توکن در ثانیه با MTP خاموش در برابر ۲۲۰ با روشن
- ظرفیت KV cache: ۲۹٬۳۵۴ توکن با MTP خاموش و ۱۴٬۵۶۳ توکن با روشن
- کانتکست عملی حدود ۳۲ هزار توکن، با اینکه سقف معماری ۲۶۲٬۱۴۴ توکنه
- فقط متنیه و vision tower نداره؛ برای اجرا به پکیج OrcaSAQ2-kernel نیاز داره
