آموزش کامل مدل زبانی با دقت ۴ بیتی: تجربه Thinking Machines
خلاصهٔ کاملتر
تیم Thinking Machines تو این مقاله توضیح داده که چطور مدل Inkling 2 Small رو با یه forward pass چهار بیتی (یعنی محاسبهٔ خروجی مدل از روی ورودی) آموزش داده. مشکل اصلی آموزش با دقت پایین اینه که بیت کمتر یعنی اعداد قابلنمایش کمتر و گرد کردن شدیدتر. این خطاها تو لایهها و قدمهای آموزش جمع میشن و میتونن یادگیری رو خراب کنن. سه فرمت اصلی تو کار بوده: BF16، MXFP8 و NVFP4. روی GPUهای GB300، فرمت NVFP4 حدود ۳.۶ برابر بیت کمتری از BF16 میگیره ولی تا ۶ برابر سریعتر اجرا میشه.
انتخاب این تیم این بوده: NVFP4 فقط برای forward pass تو لایههای Mixture of Experts (یعنی لایههایی که هر توکن فقط به چند «متخصص» از بین کلی متخصص فرستاده میشه)، و MXFP8 برای backward pass یا همون محاسبهٔ گرادیان. نویسندهها میگن آموزش کامل با NVFP4 دقت مدل رو خیلی پایین آورده بود، ولی تمرکز روی forward pass تعادل بهتری بین سرعت و دقت داده.
NVFP4 با چیزی به اسم block scaling کار میکنه: هر ۱۶ عدد پشت سر هم یه ضریب مقیاس مشترک دارن که از روی بزرگترین عدد بلوک حساب میشه. مشکل اینجاست که تو backward pass ماتریسها ترانهاده میشن و هر عدد با ۱۵ همسایهٔ دیگه گروه میشه، پس مقادیرش با forward pass فرق میکنه و گرادیان غلط درمیاد. راهحل NVIDIA استفاده از بلوکهای ۱۶×۱۶ بود، ولی به گفتهٔ تیم این روش خیلی زمخت بود و کلی عدد کوچیک صفر میشدن.
راهحل خودشون این بوده که تنسورها رو از حالت کوانتیزه دربیارن، با دقت بالاتر ترانهاده کنن و دوباره با stochastic rounding کوانتیزه کنن. این روش هر عدد رو بهصورت احتمالی به بالا یا پایین گرد میکنه، طوری که میانگینش همون عدد اصلی بمونه. یعنی خطا هست ولی سوگیری یا bias نداره، و این برای backward pass خیلی مهمه چون bias تو لایهها و قدمها روی هم جمع میشه. Blackwell این کار رو سختافزاری هم پشتیبانی میکنه.
بعد از سریع شدن محاسبات، گلوگاه جدید ارتباط بین GPUها بود. تو GB300 NVL72، پهنای باند NVLink حدود ۹۰۰ گیگابایت بر ثانیهست ولی GEMMهای NVFP4 تا ۱۵ PFLOPS سرعت دارن. برای همین دادههای مرحلهٔ combine رو با یه random Hadamard transform (یعنی یه چرخش که مقادیر پرت رو صافتر میکنه) به فرمت ۸ بیتی S2F6 بردن و حجمش رو از ۱۶ به ۸.۲۵ بیت برای هر مقدار رسوندن، بدون افت دقت محسوس. کرنل اختصاصیشون هم اسمش BBBK هست.
طبق مقاله، این روش تو پیشآموزش حدود ۲ درصد از compute efficiency کم میکنه، ولی تو RL هیچ فرق محسوسی تو reward نداشته. ۱۶.۶ درصد آخر لایهها هم با MXFP8 حساب میشن. پیشآموزش Inkling 2 Small فقط ۶۸ ساعت روی رکهای GB300 NVL72 طول کشیده. تیم الان داره روی FP4 کردن backward pass هم کار میکنه.
نکات کلیدی:
- NVFP4 روی GB300 تا ۱۵ PFLOPS سرعت داره، در برابر ۲.۵ PFLOPS برای BF16
- forward pass لایههای MoE با NVFP4 و backward pass با MXFP8 حساب میشه
- stochastic rounding بعد از ترانهاده کردن، سوگیری گرادیان رو حذف میکنه
- دادههای combine با Hadamard transform و فرمت S2F6 از ۱۶ به ۸.۲۵ بیت رسیده
- سرعت ۸ درصد بیشتر در پیشآموزش و ۲۰ درصد در RL نسبت به MXFP8 کامل
- هزینه: حدود ۲ درصد افت compute efficiency در پیشآموزش




