Zero-TIM گوگل: یادگیری تقویتی پایدار روی TPU
خلاصهٔ کاملتر
تو آموزش مدلهای زبانی با reinforcement learning (RL)، دو تا مسیر جدا داریم: sampler که توکنها رو یکییکی تولید میکنه و logprob (یعنی لگاریتم احتمالی که مدل به اون توکن داده) رو ثبت میکنه، و trainer که همون توکنها رو دستهای دوباره حساب میکنه تا گرادیان بگیره. تیم Tunix گوگل میگه حتی با وزنهای یکسان، این دو مسیر logprob کمی متفاوت میدن. نتیجهش اینه که آموزشی که روی کاغذ on-policy هست، در عمل یه فاصلهٔ off-policy پنهان پیدا میکنه که تو گفتوگوهای چندمرحلهای بزرگتر میشه.
ریشهٔ مشکل تو جمع اعداد اعشاریه. جمع floating-point شرکتپذیر نیست، یعنی ترتیب جمع زدن روی گرد شدن نتیجه اثر میذاره. این اثر تو bfloat16 که دقت کمتری از float32 داره راحتتر دیده میشه. ضرب ماتریسها، نرمالسازی و ترکیب خروجی shardها تو tensor parallelism همهشون جمع دارن. چون sampler و trainer شکل ورودی و پیادهسازی متفاوتی داشتن و JAX برای هر شکل یه کد جدا کامپایل میکنه، ترتیب جمعها یکی نبود و بیتهای خروجی فرق میکرد.
قرارداد Zero-TIM سادهست: سه مسیر sampler decode، serving prefill و trainer forward باید برای هر توکن نمونهگیریشده logprob بیتبهبیت یکسان بدن، بدون هیچ تلورانسی. prefill وسط کار یه ایست بازرسیه: اول چک میشه موتور serving با خودش همخوانی داره، بعد چک میشه serving و training با هم یکیان. به گفتهٔ نویسندهها، این روش دومرحلهای رو هر stack RL دیگهای هم میتونه استفاده کنه.
دستورالعمل چهار بخش داره. اول، داخل هر shard کرنلهای Pallas که به اندازهٔ batch وابسته نیستن، ترتیب جمع رو ثابت نگه میدارن و حاصلضربها رو تو float32 جمع میکنن:
partial = jnp.dot(
input_tile,
weight_tile,
preferred_element_type=jnp.float32,
)
acc_ref[...] = acc_ref[...] + partialدوم، بین shardها ارتباط و جمع از هم جدا میشن: ppermute خروجیهای جزئی رو جابهجا میکنه و همهٔ rankها با یه ترتیب ثابت جمعشون میکنن. سوم، هر سه مسیر از یه log-softmax ثابت برای امتیاز دادن به توکن انتخابشده استفاده میکنن. چهارم، trainer خود محاسبهٔ serving رو با jax.custom_vjp قابل مشتقگیری میکنه؛ یعنی مقدار forward از کرنل serving میاد و فقط مسیر backward از یه نسخهٔ مشابه ساخته میشه. فلگ --xla_allow_excess_precision=false هم جلوی دقت اضافی کامپایلر رو میگیره.
تست روی ۶۴ چیپ TPU v5p با mesh از نوع DP8×TP8 و مدل Qwen3-8B تو محیط FrozenLake به مدت ۲۰۰ قدم انجام شد. Zero-TIM تو همهٔ قدمها اختلاف صفر بین sampler و trainer داشت و نرخ حل مسئلهش از روش استاندارد و TIS (یه روش اصلاح با importance sampling) بالاتر رفت. تیم گوگل میگه TIS فقط اثر اختلاف رو کم میکنه، نه خودش رو، و الان دارن پشتیبانی از linear attention و MoE رو اضافه میکنن.
نکات کلیدی:
- Zero-TIM تو Tunix، کتابخونهٔ متنباز JAX گوگل برای RL روی Cloud TPU، پیاده شده.
- logprob در سه مسیر sampler، prefill و trainer بیتبهبیت یکسانه.
- تست روی ۶۴ چیپ TPU v5p با mesh از نوع DP8×TP8 و مدل Qwen3-8B انجام شده.
- علت اختلاف، ترتیب متفاوت جمع اعشاری مخصوصاً تو bfloat16 بود.
- روش TIS اختلاف رو حذف نمیکنه و نرخ حل پایینتری از Zero-TIM داشت.




