‏ترنسفورمر تمام‌پهنای‌باند: فکرِ نگفته رو نگه می‌داره

تو یه ترنسفورمر autoregressive، بین دو قدم تولید توکن فقط یه چیز عبور می‌کنه: خودِ توکنی که sample شده. حالت پنهان لایهٔ آخر — یعنی همهٔ محاسبه‌ای که مدل تو اون قدم انجام داده ولی به کلمه تبدیل نشده — دور ریخته می‌شه. مقالهٔ arXiv:2608.08888 اسم این تنگنا رو کانال عمودیِ باریک می‌ذاره و پیشنهاد می‌ده پهن‌ترش کنیم.

راه‌حلی که نویسنده‌ها بهش می‌گن latent feedback ساده‌ست: حالت پنهان لایهٔ آخرِ قدم قبل، از طریق یه gated linear unit با embedding توکن sample‌شده ترکیب می‌شه و همین می‌شه ورودی قدم بعد. نتیجه‌ش اینه که محاسبهٔ بیان‌نشده دوباره از پایین وارد استک می‌شه و یه بودجهٔ عمق تازه می‌گیره. معماری استاندارد ترنسفورمر، KV cache و هدف language modeling هیچ‌کدوم عوض نمی‌شن.

به گفتهٔ نویسنده‌ها گیر اصلی، آموزشه: بازخورد نهفته ذاتاً ترتیبی هست و با teacher forcing موازی جور درنمیاد. راه‌حلشون یه هدف چندگذرهٔ زمان‌بندی‌شده‌ست — latent feedback رو دیر و تو مراحل پایانی pretraining وارد می‌کنن و کسر کوچیکی از گذرهای بازخوردی عمیق‌تر رو هم قاطی می‌کنن تا آموزش پایدار بمونه.

روی مدل‌های ۱ میلیارد پارامتری و تا ۴۰۰ میلیارد توکن، بهبود هم تو validation loss دیده شده هم تو ارزیابی 5-shot، تولید ریاضی و کد، و عملکرد بعد از instruction tuning. جالب‌تر اینکه سربار هر توکن موقع decode تقریباً ناچیزه، ولی مدل به کیفیت ترنسفورمر استانداردی می‌رسه که حدود ۱.۵ برابر توکن بیشتر دیده — و زنجیره‌های استدلال کوتاه‌تری هم تولید می‌کنه، با دقت برابر یا بهتر.

نکات کلیدی:

• مقالهٔ arXiv:2608.08888، ثبت‌شده در ۹ آگوست ۲۰۲۶ در دستهٔ cs.AI
• latent feedback حالت پنهان لایهٔ آخر رو از طریق یه gated linear unit با embedding توکن ترکیب می‌کنه
• معماری استاندارد ترنسفورمر، KV cache و هدف language modeling بدون تغییر می‌مونن
• آموزش با یه هدف چندگذرهٔ زمان‌بندی‌شده انجام می‌شه تا teacher forcing موازی از دست نره
• آزمایش‌ها روی مدل ۱ میلیارد پارامتری تا ۴۰۰ میلیارد توکن؛ کیفیت هم‌تراز مدلی که حدود ۱.۵ برابر توکن بیشتر دیده