‏دلتای وزن‌ها: آموزش مدل‌های غول‌پیکر بدون کلاستر

یکی از گلوگاه‌های پنهان آموزش یادگیری تقویتی (RL) ناهمگام، همگام‌سازی وزن‌هاست: بعد از هر قدم بهینه‌سازی، مربی باید وزن‌های تازه را به موتور استنتاج بفرسته تا از سیاست فعلی عقب نمونه. برای یک مدل ۷ میلیاردی این یعنی ۱۴ گیگابایت و برای یک مدل یک‌تریلیونی حدود یک ترابایت، هر قدم. این انتقال روی مسیر بحرانی می‌شینه و GPU‌ها را بیکار نگه می‌داره.

نکته‌ی کلیدی اینه که لازم نیست همه‌چیز را بفرستی. بین دو قدم متوالی، تقریباً ۹۹٪ وزن‌های bf16 دقیقاً بیت‌به‌بیت یکسان می‌مونن. دلیلش ریاضیات bf16 است: این فرمت فقط ۷ بیت مانتیس داره و وقتی نرخ یادگیری RL پایینه، تغییر هر وزن از آستانه‌ی گردکردن کوچک‌تره و عملاً جذب می‌شه. پس بایت آن وزن تغییر نمی‌کنه و از دید موتور استنتاج اصلاً تکونی نخورده.