شری: فشردهسازی مدل ۷۷۰ میلیاردی به یکهفتم
هوش مصنوعیخلاصهٔ کاملتر
تو این مقاله اومده که تنسنت یه روش کوانتیزیشن (یعنی گرد کردن وزنهای مدل به عددهای درشتتر که جای کمتری بگیرن) به اسم Sherry داره که توی Angel Slim، جعبهابزار فشردهسازی مدلهای بزرگ تنسنت، جاسازی شده. نتیجهای که سر زبونها افتاد این بود: یه مدل ۷۷۰ میلیارد پارامتری از حدود ۱.۵ ترابایت رسید به تقریباً ۲۱۴ گیگابایت، یعنی هفت برابر کوچیکتر، در حالی که نمرهی بنچمارکهاش تقریباً همونجا موند.
وزنهای یه مدل معمولاً عددهای اعشاری دقیقی مثل ۰.۴۲ یا ۱.۷- هستن. Sherry هر وزن رو فقط به یکی از سه مقدار ۱-، ۰ یا ۱+ گرد میکنه؛ به این میگن ternary quantization یعنی کوانتیزیشن سهمقداری. ولی ایدهی اصلی خودِ سهمقداری بودن نیست، چون قبلاً هم روشهای دیگه سراغش رفته بودن. فرقش اینه که Sherry صفر رو ول نمیکنه هر جا خواست بیفته: توی هر گروه چهارتایی از وزنها دقیقاً یه صفر میذاره، نه کمتر نه بیشتر.
همین قانون ساده کل حسابوکتاب رو جفتوجور میکنه. وقتی مطمئن باشی هر گروه چهارتایی دقیقاً یه صفر داره، اون گروه فقط ۳۲ حالت ممکن داره. ۳۲ حالت هم دقیقاً تو ۵ بیت جا میشه، یعنی بهطور میانگین ۱.۲۵ بیت برای هر وزن، بدون یه ذره فضای هدررفته. در مقابلِ حالت معمولی که هر وزن ۱۶ یا ۳۲ بیت میگیره، حجم فایل خودبهخود میریزه پایین.
نویسنده میگه Angel Slim چیز تازهای نبود و ماهها قبل از این سروصدا در دسترس بود، حتی با مدلهای کوچیکتری که روی سختافزار معمولی هم اجرا میشدن. به گفتهی نویسنده بخشی از این تأخیر برمیگرده به مستندات: متنها و دیاگرامهای تنسنت انگلیسی و چینی رو قاطی کردن و مقالهی پژوهشیش هم پر از نماد سنگینه. یه روش کاربردی وقتی کسی نتونه ازش سر دربیاره، عملاً بیاستفاده میمونه.
یه نکتهی مهم هم هست: کوچیکتر شدن به معنی اجرا روی لپتاپ نیست. همون مدل ۲۱۴ گیگی هنوز چندتا GPU با VRAM بالا میخواد تا با سرعت قابلقبول بالا بیاد. به قول نویسنده Sherry مدل رو از «یه رک سرور میخواد» میبره به «یه ورکاستیشن چند-GPU جدی میخواد»، نه به «روی گوشی اجرا میشه». اگه با مدلهای کوچیکتر کار میکنی، روشهای کوانتیزیشن دیگه بیشتر به دردت میخورن.
نکات کلیدی:
- Sherry هر وزن رو به ۱-، ۰ یا ۱+ گرد میکنه و توی هر گروه چهارتایی دقیقاً یه صفر میذاره
- هر گروه چهارتایی فقط ۳۲ حالت داره و تو ۵ بیت جا میشه، یعنی ۱.۲۵ بیت برای هر وزن
- مدل ۷۷۰ میلیارد پارامتری از حدود ۱.۵ ترابایت رسید به حدود ۲۱۴ گیگابایت، تقریباً ۷ برابر کوچیکتر
- نمرههای بنچمارک بعد از فشردهسازی نزدیک به مدل اصلی موند
- Sherry بخشی از Angel Slim، جعبهابزار فشردهسازی مدل تنسنته، و ماهها قبل از سروصدا در دسترس بود
- اجرای مدل ۲۱۴ گیگی هنوز چند GPU با حافظهی بالا لازم داره
