‏Qwen 3.8 27B؛ مدل کدنویسی که روی یک GPU اجرا می‌شه

Qwen 3.8 27B یه مدل dense (یعنی همه‌ی پارامترهاش برای هر توکن کار می‌کنن) با ۲۷ میلیارد پارامتر از تیم Qwen علی‌باباست. متن، تصویر و ویدیو رو پشتیبانی می‌کنه، پنجره‌ی context بیشتر از ۲۰۰ هزار توکن داره و با لایسنس Apache 2.0 منتشر شده. یعنی می‌شه کل یه کدبیس چندفایلی یا لاگ‌های طولانی رو بدون تیکه‌تیکه کردن بهش داد و بدون محدودیت تو محصول تجاری ازش استفاده کرد.

به گفته‌ی مقاله، سخت‌افزار لازم به کوانتیزه کردن بستگی داره (یعنی کم کردن دقت عددهای مدل تا حافظه‌ی کمتری بگیره). با دقت کامل FP16 حدود ۵۴ گیگ VRAM فقط برای وزن‌ها لازمه. با ۴ بیت این عدد به حدود ۱۴ تا ۱۶ گیگ می‌رسه، بدون حساب KV cache و context. پس روی کارتی مثل RTX 4090 با ۲۴ گیگ جا می‌شه، ولی روی کارت‌های ۱۶ گیگی باید context رو کوتاه کرد یا کوانتیزه‌ی ۳ بیتی زد.

مسیر پیشنهادی نویسنده اینه که به‌جای ۱۸ فایل safetensors اصلی، یه نسخه‌ی کوانتیزه‌ی GGUF دانلود کنی و با llama.cpp یا LM Studio اجراش کنی. این ابزارها می‌تونن بخشی از لایه‌ها رو روی GPU و بقیه رو روی CPU و RAM بذارن. برای همین ۳۲ گیگ رم سیستم یه حداقل معقوله. بدون کارت ۲۴ گیگی هم کار می‌کنه، فقط کندتره.

ادعای اصلی، نتیجه‌ی SWE-bench Pro هست، بنچمارکی که از issueهای واقعی GitHub ساخته شده و می‌سنجه مدل می‌تونه یه باگ رو تو کدبیس واقعی حل کنه یا نه. گزارش شده Qwen 3.8 27B اینجا از Claude Opus 4.6 جلو زده ولی تو حداقل یه بنچمارک دیگه عقب مونده. نویسنده می‌گه این یعنی جایگزین کامل Opus نیست، ولی برای دیباگ مبتنی بر issue و ساختن patch گزینه‌ی قابل اعتمادیه.

به نظر نویسنده، اجرای محلی وقتی می‌ارزه که هزینه‌ی قابل پیش‌بینی، حریم خصوصی داده، کار آفلاین یا فرار از rate limit برات مهم باشه. لایسنس Apache 2.0 هم یعنی خطر گرون شدن یا حذف مدل وجود نداره و می‌شه fine-tune و بازنشرش کرد. هزینه‌ش اینه که مسئولیت GPU، انتخاب کوانتیزه و به‌روزرسانی با خودته. تیم Qwen هم قول داده Qwen 4 و Qwen 5 باز بمونن، که برای ساختن یه pipeline بلندمدت روی این مدل مهمه.

نکات کلیدی:

• مدل dense با ۲۷ میلیارد پارامتر، چندرسانه‌ای و با context بالای ۲۰۰ هزار توکن.
• لایسنس Apache 2.0، یعنی استفاده‌ی تجاری، تغییر و بازنشر آزاده.
• FP16 حدود ۵۴ گیگ VRAM می‌خواد و نسخه‌ی ۴ بیتی حدود ۱۴ تا ۱۶ گیگ.
• تو SWE-bench Pro از Claude Opus 4.6 جلو زده ولی تو یه بنچمارک دیگه عقبه.
• فرمت پیشنهادی برای اجرای محلی GGUF با llama.cpp یا LM Studio هست.