LIFT: ترنسفورمری که حالت درونی‌اش رو به قدم بعد می‌فرسته
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Dor Tirosh، Ido Amos و Mor Geva تو یه مقاله تازه روی arXiv معماری‌ای به اسم LIFT (مخفف Latent Information Feedback Transformer) معرفی کردن. مشکلی که دنبالش هستن اینه که ترنسفورمرها feed-forward هستن، یعنی اطلاعات لایه‌های عمیق هیچ‌وقت به لایه‌های کم‌عمق برنمی‌گرده. تنها راهی که اطلاعات از یه قدم تولید به قدم بعد می‌رسه، همون توکنیه که مدل خروجی داده.
به گفته نویسنده‌ها، این کانال باریک دو تا هزینه داره. مدل مجبوره نتایج میانی رو دوباره حساب کنه، و ادامه‌های جایگزینی که بهشون فکر کرده بود رو دور می‌ریزه. LIFT این گلوگاه رو برمی‌داره و به مدل اجازه می‌ده یه state (یعنی یه بردار پرمحتوا از وضعیت درونی مدل) رو هم به قدم بعد منتقل کنه.
چالش اصلی اینجاست که آموزش مدل‌های بازگشتی (recurrent) معمولاً نمی‌تونه موازی انجام بشه، چون هر قدم منتظر خروجی قدم قبله. ترفند LIFT اینه که این مسئله رو به یه پیش‌بینی با teacher forcing (یعنی به جای خروجی خود مدل، جواب درست رو بهش بدی) تبدیل می‌کنه. هر توکن ورودی با یه state جفت میشه که از توزیع احتمال توکن بعدی یه مدل زبانی آماده و از پیش آموزش‌دیده درمیاد.
مدل با چند پارامتر اضافه آموزش می‌بینه که هم توکن بعدی و هم state بعدی رو پیش‌بینی کنه. چون stateهای ورودی از قبل حساب شدن، pretraining کاملاً موازی می‌مونه. موقع inference هم stateهایی که خود مدل پیش‌بینی کرده به قدم بعد برمی‌گرده. هزینه محاسباتی اضافه‌اش کمه و هرچی مدل بزرگ‌تر بشه، کمتر هم میشه. یعنی این قابلیت جدید تقریباً مفت به دست میاد.
تو آزمایش‌ها روی مدل‌هایی از ۱۳۵ میلیون تا ۱ میلیارد پارامتر، LIFT با بودجه توکن برابر همیشه از ترنسفورمرهای معمولی و روش‌های پایه بهتر بوده. این برتری تو مدل‌سازی زبان، تسک‌های استدلال و تسک‌های رویه‌ای دیده شده. با بودجه محاسباتی برابر هم هم‌سطح یا جلوتر بوده. تو یه آزمایش کنترل‌شده روی state-tracking، یه LIFT خیلی کوچیک از ترنسفورمر هم‌اندازه‌ای که ۸ برابر داده بیشتر دیده بهتر بوده. جالب‌تر اینکه حتی وقتی stateها از ترنسفورمری اومده بودن که خودش اون تسک رو حل نمی‌کرد، باز هم جواب داده.
نکات کلیدی:
- LIFT به ترنسفورمر اجازه می‌ده اطلاعات لایه‌های عمیق رو از یه قدم تولید به قدم بعد بفرسته.
- stateهای آموزشی از توزیع توکن بعدی یه مدل زبانی آماده ساخته می‌شن، پس pretraining موازی می‌مونه.
- آزمایش‌ها روی مدل‌های ۱۳۵ میلیون تا ۱ میلیارد پارامتری انجام شده.
- با بودجه توکن برابر، LIFT از ترنسفورمرهای معمولی بهتر بوده و با بودجه محاسباتی برابر هم‌سطح یا بهتر.
- تو تسک state-tracking، یه LIFT کوچیک از ترنسفورمر هم‌اندازه با ۸ برابر داده بهتر عمل کرده.
