‏GSQ و RCO: روش جدید فشرده‌سازی مدل‌های زبانی از تیم سازنده‌ی GPTQ

Das Lab، آزمایشگاه تحقیقاتی موسسه‌ی علم و فناوری اتریش (ISTA) و همون تیمی که قبلاً GPTQ رو ساخته، دو روش جدید برای فشرده‌سازی مدل‌های زبانی معرفی کرده: GSQ (Gumbel Softmax Quantization) و RCO (Riemannian Constrained Optimization). این دو تا مکمل هم کار می‌کنن: GSQ سطح حساسیت تک‌تک وزن‌های مدل رو می‌سنجه، و RCO با استفاده از همین اطلاعات، یه بودجه‌ی حجمی مشخص (مثلاً یه هدف حدود ۱۱.۸ گیگابایتی) رو بین کل تنسورهای مدل تقسیم می‌کنه تا مدل نهایی دقیقاً به همون سایز برسه.

GSQ در دقیق‌ترین سطح ممکن کار می‌کنه: برای هر وزن مدل، چند عمق بیتی مختلف (مثل دو، سه یا چهار بیت) رو امتحان می‌کنه و یاد می‌گیره کدومشون همون وزن رو به مقدار اصلیش نزدیک‌تر نگه می‌داره. بعضی وزن‌ها با فشرده‌سازی شدید هم تغییر چندانی نمی‌کنن، ولی بعضیای دیگه خیلی حساسن و کوچیک‌ترین افت دقت توشون تو کل مدل اثر می‌ذاره. برخلاف روش‌های قدیمی‌تر که یه عمق بیتی ثابت رو به کل یه تنسور یا کل مدل تحمیل می‌کنن، GSQ این تصمیم رو برای تک‌تک وزن‌ها جدا می‌گیره.

RCO یه پله بالاتر از GSQ کار می‌کنه؛ وقتی حساسیت همه‌ی وزن‌ها مشخص شد، RCO تصمیم می‌گیره بودجه‌ی حجمی کل مدل چطور بین تنسورها تقسیم بشه: تنسورهای حساس‌تر بیت بیشتری می‌گیرن، تنسورهای مقاوم‌تر بیت کمتر. تو یه تست عملی، یه مدل ۲۷ میلیارد پارامتری Qwen3.8 که با این روش تا حدود ۸ تا ۱۲ گیگابایت فشرده شده بود، همچنان استدلال زنجیره‌ای بلند، تولید کد درست‌وحسابی و حتی پیدا کردن یه باگ مخفی تو یه کوئری پیچیده‌ی SQL رو درست انجام داد؛ اونم با کمتر از نصف حافظه‌ی نسخه‌ی فشرده‌نشده.

تنها نقطه‌ضعف مشخص، زبان‌های کم‌منبع بودن که خروجی‌شون تقریباً نامفهوم از آب در اومد؛ زبان‌های بزرگ مثل چینی، اسپانیایی و عربی مشکلی نداشتن. این نویسنده می‌گه این ضعف تو خودِ مدل اصلی هم بوده و ربطی به فشرده‌سازی نداره، چون مدل با زبان‌های ساختگی مثل کلینگون هم صادقانه برخورد کرد و به‌جای قاطی‌کردن، کمبود دایره‌ی لغتش رو اعلام کرد.

نکات کلیدی:

• GSQ برای هر وزن مدل جدا تصمیم می‌گیره چند بیت لازمه (دو تا چهار بیت)
• RCO یه بودجه‌ی حجمی ثابت (مثلاً ۱۱.۸ گیگابایت) رو بین تنسورهای مدل تقسیم می‌کنه
• تیم سازنده، Das Lab تو ISTA اتریش، قبلاً GPTQ رو هم ساخته
• تست روی مدل ۲۷ میلیارد پارامتری Qwen3.8 فشرده‌شده تا ۸ تا ۱۲ گیگابایت نتیجه‌ی خوب داد
• زبان‌های کم‌منبع نقطه‌ضعف اصلی این فشرده‌سازیه