AutoCompress: هرس مدلهای زبانی بر اساس سختافزار واقعی
خلاصهٔ کاملتر
مقالهٔ AutoCompress که تو arXiv منتشر شده، سراغ یه مشکل رایج تو pruning (یعنی حذف بخشهایی از مدل برای کوچیکتر کردنش) مدلهای زبانی رفته. نویسندهها میگن روشهای فعلی معمولاً یه تعداد پارامتر هدف میگیرن و بعد خود آدم باید دستی سایزی رو انتخاب کنه که تو محدودیت تأخیر، throughput و حافظهٔ GPU جا بشه.
به گفتهٔ مقاله، مشکل اینه که تعداد پارامتر بهتنهایی این معیارها رو پیشبینی نمیکنه. سرعت و حافظه به معماری مدل، نوع بار کاری، سختافزار و serving engine (یعنی نرمافزاری که مدل رو اجرا و سرو میکنه) بستگی داره. پس دو مدل با تعداد پارامتر یکسان میتونن روی یه GPU رفتار خیلی متفاوتی داشته باشن.
AutoCompress این محدودیتها رو مستقیم وارد differentiable architecture search میکنه، یعنی جستجوی معماری که با گرادیان بهینه میشه. این روش ساختار کلی و ساختار هر لایه رو با هم بهینه میکنه و برای همین معماریهای ناهمگن میسازه، یعنی لایهها لزوماً هماندازه نیستن. راهنمای جستجو هم مدلهای هزینهٔ serving engine هست که با اندازهگیری واقعی تأخیر، throughput و حافظه چک شدن.
نویسندهها روش رو تو سه سناریو تست کردن: کدنویسی محلی با context بلند، سرو کردن دستهای تو دیتاسنتر، و تعامل حساس به تأخیر داخل بازی. در مقایسه با Minitron که پیشرفتهترین روش هرس فعلی حساب میشه، میانگین دقت روی هشت بنچمارک روی RTX 5070 حدود 6.57، روی RTX 5080 حدود 2.35 و روی H100 حدود 0.57 واحد درصد بهتر شده. یعنی هر چی سختافزار محدودتر باشه، سود این روش بیشتره.
یه نمونهٔ جالب دیگه هم تو مقاله اومده: مدل Nemotron 3.5 Super از 120 میلیارد به 74 میلیارد پارامتر کوچیک شده تا با دقت BF16 و context برابر 128K روی فقط یه B200 اجرا بشه. این نسخهٔ کوچیکتر هنوز 95 درصد میانگین امتیاز بنچمارکهای مدل اصلی رو نگه داشته.
نکات کلیدی:
- AutoCompress بهجای تعداد پارامتر، مستقیم تأخیر، throughput و حافظهٔ GPU رو هدف میگیره
- ساختار کلی و هر لایه با هم بهینه میشن و خروجی معماری ناهمگنه
- بهبود دقت نسبت به Minitron: 6.57 واحد درصد روی RTX 5070، 2.35 روی RTX 5080 و 0.57 روی H100
- Nemotron 3.5 Super از 120B به 74B رسیده و روی یه B200 با context 128K اجرا میشه
- نسخهٔ فشرده 95 درصد میانگین امتیاز مدل اصلی رو حفظ کرده




