‏کوانتیزه‌سازی GSQ-RCO: مدل ۷۶۳ میلیارد پارامتری روی یه GPU

تو این مقاله اومده که GSQ-RCO یه روش quantization (یعنی کم کردن دقت عددی وزن‌های مدل برای کوچیک‌تر شدنش) هست که از دو بخش ساخته شده. نتیجه‌ش اینه که یه مدل خیلی بزرگ که معمولاً صدها گیگابایت جا می‌خواد، روی یه GPU قوی اجرا می‌شه.

بخش اول RCO هست که کارش تقسیم بیت‌هاست. همه وزن‌ها به یه اندازه مهم نیستن: بعضی لایه‌ها با کمی خطای گرد کردن خراب می‌شن و بعضی‌ها فشرده‌سازی سنگین رو تحمل می‌کنن. RCO با یه بودجه ثابت برای حجم کل شروع می‌کنه و به لایه‌های حساس بیت بیشتر و به بقیه بیت کمتر می‌ده، طوری که جمعش دقیقاً همون حجم هدف بشه.

بخش دوم GSQ هست که گرد کردن تک‌تک وزن‌ها رو انجام می‌ده. گرد کردن معمولی نزدیک‌ترین مقدار مجاز رو برمی‌داره. ولی GSQ چند مقدار ممکن (مثلاً -2، -1، 0 یا 1) رو با هم امتیاز می‌ده و این انتخاب رو مرحله‌به‌مرحله بهتر می‌کنه تا یکی برنده بشه. یعنی RCO تصمیم می‌گیره دقت کجای مدل خرج بشه و GSQ تصمیم می‌گیره هر عدد با اون دقت چطور نشون داده بشه.

آزمایشگاه ISTA DASH Lab این روش رو روی DeepSeek V3.1 Flash اجرا کرده. این یه مدل mixture-of-experts (یعنی مدلی که از چند زیرشبکه متخصص ساخته شده) با ۷۶۳ میلیارد پارامتره. اول حدود نصف expertها حذف شدن و اونایی که به کدنویسی و کارهای ایجنتی مربوط بودن موندن. بعد GSQ-RCO بقیه رو فشرده کرد و وزن‌های اصلی به حدود ۷۲ گیگابایت رسید. تو تست محلی حدود ۹۵ گیگابایت VRAM مصرف شد که با کم کردن context window کمتر هم می‌شه.

نویسنده تأکید می‌کنه که «۱ بیت» یه میانگینه. expertهای حذف‌شده صفر حساب می‌شن و میانگین رو پایین می‌کشن، پس وزن‌های باقی‌مونده واقعاً با یه بیت ذخیره نشدن. برای اجرا هم معمولاً از فرمت GGUF و ابزارهایی مثل llama.cpp استفاده می‌شه.

مشکل رایج فشرده‌سازی شدید اینه که مدل توهم بزنه، تو حلقه تکرار گیر کنه یا متن به‌هم‌ریخته بده. به گفته نویسنده، تو تست‌ها هیچ‌کدوم دیده نشد: مدل یه باگ عمدی تو یه اپ هزینه‌یابی رستوران رو پیدا کرد و تو یه کوئری SQL تودرتو هم چند باگ واقعی گرفت. ولی تو کار رندر سه‌بعدی، خروجی نسبت به مدل کامل تخت‌تر و کم‌جزئیات‌تر بود. نتیجه‌گیری نویسنده اینه که اگه جایگزینت اینه که اصلاً نتونی مدل رو اجرا کنی، این روش برد واضحیه.

نکات کلیدی:

• RCO بیت‌ها رو بر اساس حساسیت لایه‌ها و با یه بودجه حجم ثابت تقسیم می‌کنه.
• GSQ برای هر وزن چند مقدار کاندید رو امتیاز می‌ده، به‌جای گرد کردن ساده به نزدیک‌ترین مقدار.
• DeepSeek V3.1 Flash با ۷۶۳ میلیارد پارامتر، بعد از حذف حدود نصف expertها و فشرده‌سازی، به حدود ۷۲ گیگابایت رسید.
• اجرای محلی حدود ۹۵ گیگابایت VRAM لازم داشت.
• «۱ بیت» میانگین کل مدله، نه فرمت ذخیره هر وزن.
• کیفیت تو کدنویسی و دیباگ خوب موند، ولی تو کارهای تصویری مثل رندر سه‌بعدی افت کرد.