وزنهای مدلهای زبانی چقدر اطلاعات واقعی دارند؟
هوش مصنوعیخلاصهٔ کاملتر
یه سوال ساده ولی جالب: وقتی وزنهای یه مدل زبانی بزرگ رو با فرمت BF16 ذخیره میکنیم، آیا واقعاً از هر ۱۶ بیتی که به هر پارامتر اختصاص دادیم، استفاده میکنیم؟ محققان این سوال رو با ابزار آنتروپی شانون بررسی کردن — همون معیاری که میگه هر سمبل بهطور میانگین چقدر اطلاعات واقعی حمل میکنه.
قضیهی کدگذاری منبع شانون میگه حداقل تعداد بیت لازم برای نمایش یه سمبل، دقیقاً برابر آنتروپیشه. پس اگه آنتروپی وزنهای یه مدل از تعداد بیتهای فرمتش کمتر باشه، اون تفاوت «هدررفت» محسوب میشه — بیتهایی که تخصیص داده شدن ولی اطلاعاتی توشون نیست.
محققان وزنهای مدلهای متنباز از لبهای مختلف (Qwen، DeepSeek، Google، OpenAI، NVIDIA و چند تای دیگه) با مقیاسهای مختلف از ۰.۶ میلیارد تا ۱.۴ تریلیون پارامتر و فرمتهای متنوع (BF16، FP8، MXFP4، INT4 و...) رو جمع کردن و آنتروپی هر کدوم رو اندازه گرفتن.
نتیجه برای BF16: هر وزن بهطور میانگین حدود ۱۰.۶ بیت آنتروپی داره، در حالی که ۱۶ بیت بهش اختصاص داده شده. یعنی تقریباً یهسوم بودجه هدر میره. وقتی این رو جزءبهجزء بررسی میکنیم میبینیم:
- بیت علامت (sign): دقیقاً ۱ بیت از ۱ بیت — مثل یه سکهی منصفانه
- مانتیسا: تقریباً ۷ بیت از ۷ بیت — تقریباً هیچ هدری نداره
- توان (exponent): حدود ۲.۶ بیت از ۸ بیت — اینجاست که همه چیز خراب میشه!
پس چرا فیلد توان اینقدر ناکارآمده؟ توان یه عدد اعشاری شناور، تقریباً برابر log₂|w| هست — یعنی مستقیماً به بزرگی وزن بستگی داره. اگه وزنها در یه بازهی کوچیک از بزرگی متمرکز باشن، اکثر ۲۵۶ مقدار ممکن توان هرگز استفاده نمیشن و آنتروپی کاهش پیدا میکنه.
دقیقاً همین اتفاق میافته. در تمام مدلهای اندازهگیریشده، بزرگی وزنها در بازهی باریکی بین 2⁻⁷ و 2⁻⁶ متمرکز شده و توزیعشون یه شکل تکقلهای با دنبالهی بلند به سمت مقادیر کوچیکتره. نکتهی شگفتانگیز اینه که این الگو در مدلهای مختلف — با مقیاسها و روشهای آموزشی متفاوت — تقریباً یکسانه. اگه هر توزیع رو با میانگین و انحراف معیار نرمالسازی کنیم، تقریباً همه روی یه منحنی میافتن.
این یافته برای فرمتهای کمبیت مثل FP8، MXFP4 و INT4 هم بررسی شده. جالبه که در این فرمتها الگو فرق میکنه چون کوانتیزاسیون توزیع وزنها رو تغییر میده — مثلاً INT4 توزیع یکنواختتری داره که آنتروپی بیشتری رو پر میکنه، ولی با کیفیت متفاوت.
این نتایج نشون میده که فرمتهای ذخیرهسازی فعلی برای وزنهای مدلهای زبانی بهینه نیستن — حداقل از منظر تئوری اطلاعات. فیلد توان در BF16 بیشترین اتلاف رو داره و این الگو بهقدری پایداره که میشه برای طراحی فرمتهای فشردهسازی بهتر ازش استفاده کرد.
نکات کلیدی:
- وزنهای BF16 بهطور میانگین فقط ۱۰.۶ از ۱۶ بیت رو با اطلاعات واقعی پر میکنن
- تمام اتلاف در فیلد توان (exponent) متمرکزه: ۲.۶ بیت از ۸ بیت ممکن
- مانتیسا و بیت علامت تقریباً هیچ هدری ندارن
- علت: بزرگی وزنها در یه بازهی باریک
2⁻⁷تا2⁻⁶متمرکزه - این الگو در مدلهای لبهای مختلف، مقیاسهای ۰.۶B تا ۱.۴T و روشهای آموزشی متفاوت کاملاً پایداره
- توزیع نرمالشدهی اکثر مدلها روی یه منحنی مشترک میافته — یه ویژگی جهانی مدلهای زبانی
- این یافتهها میتونه مبنای طراحی فرمتهای ذخیرهسازی بهینهتر برای مدلهای زبانی باشه
