‏چارچوب «خواب» گوگل: مدل زبانی که بعد از استقرار هم یاد می‌گیره

تیم گوگل ریسرچ تو این مقاله یه مشکل قدیمی مدل‌های زبانی رو هدف گرفته: مدل بعد از استقرار یه knowledge cutoff ثابت داره و چیز تازه‌ای به حافظه‌ی بلندمدتش اضافه نمی‌شه. اگه با داده‌ی جدید دوباره آموزشش بدی، دچار catastrophic forgetting می‌شه (یعنی یاد گرفتن کار جدید، عملکردش رو تو کارهای قبلی خراب می‌کنه). اگه هم فقط به in-context learning (یعنی چیزهایی که تو همون پنجره‌ی مکالمه بهش می‌دی) تکیه کنی، با تموم شدن جلسه همه‌چی پاک می‌شه.

راه‌حلشون که از خواب مغز انسان الهام گرفته، یه چرخه‌ی دوره‌ایه با دو حالت. تو فاز بیداری مدل ورودی‌ها رو پردازش می‌کنه و اطلاعات موقت رو تو حافظه‌ی سریع و کوتاه‌مدت نگه می‌داره. تو فاز خواب ورودی جدید نمی‌گیره و محاسباتش رو صرف تثبیت حافظه و بهتر کردن خودش می‌کنه. نویسنده‌ها تأکید می‌کنن که معماری مدل عوض نمی‌شه و فقط بلوک‌های از قبل رزرو‌شده‌ی Mixture-of-Experts (یعنی چند زیرشبکه‌ی تخصصی که یه router بینشون انتخاب می‌کنه) باز می‌شن و وزن‌هاشون آپدیت می‌شه.

مرحله‌ی اول خواب تثبیت حافظهست. مدل ظرفیتش رو با expertهای low-rank تازه بیشتر می‌کنه تا دانش جدید بدون دست زدن به پارامترهای قدیمی ذخیره بشه. بعد با Generalized Knowledge Distillation و یادگیری تقلیدی مبتنی بر RL، حافظه‌ی کوتاه‌مدت به این پارامترهای جدید منتقل می‌شه. تو بخش Learning to Imitate، مدل بر اساس شباهت معنایی و فاصله‌ی Levenshtein پاداش می‌گیره. آخرش هم پارامترهای موقت ریست می‌شن تا برای جلسه‌ی بعدی جا باز بشه.

مرحله‌ی دوم رؤیا دیدنه. router به‌صورت تصادفی expertهای غیرمعمول رو فعال می‌کنه تا مدل حوزه‌های مختلف رو با هم قاطی کنه و الگوهای پنهان رو پیدا کنه. مدل نمونه‌های مصنوعی («رؤیا») می‌سازه، با انتخاب داده‌ی مبتنی بر gradient بهترین‌هاش رو جدا می‌کنه، روی اونا fine-tune می‌شه و بعد می‌سنجه که واقعاً بهتر شده یا نه. به گفته‌ی نویسنده‌ها این کار باعث می‌شه یادگیری متعادل‌تر و پایدارتر بشه، نه این‌که فقط داده‌ی بیشتری تولید بشه.

نتایج هم قابل توجهه. تو ترجمه‌ی پیوسته‌ی زبان‌های ناآشنایی مثل Manchu و Kalamang افت عملکرد تقریباً صفر بوده، در حالی که ICL و SFT و Cartridges به‌شدت فراموش کردن. تو بنچمارک BABILong مدل تا ۱۰ میلیون توکن تقریباً بی‌نقص مقیاس شده و از GPT-4 و Titans جلو زده. تو اضافه کردن دانش جدید روی SQuAD به ۴۸.۹٪ و تو CPT به ۴۶.۲٪ رسیده و از SEAL بهتر بوده. تو ریاضی هم روی AIME 24، AIME 25 و HMMT 25 به ترتیب ۷۹.۲٪، ۶۹٪ و ۴۶.۱٪ گرفته.

نکات کلیدی:

• چارچوب خواب یه چرخه‌ی دوره‌ای بیداری/خوابه که حافظه‌ی کوتاه‌مدت رو به وزن‌های بلندمدت منتقل می‌کنه.
• معماری مدل ثابت می‌مونه و فقط بلوک‌های رزرو‌شده‌ی MoE باز و آپدیت می‌شن.
• تثبیت حافظه با expertهای low-rank، distillation از نوع GKD و یادگیری تقلیدی با RL انجام می‌شه.
• فاز «رؤیا» با فعال‌سازی تصادفی expertها و فیلتر gradient-based داده‌ی مصنوعی می‌سازه.
• روی BABILong تا ۱۰ میلیون توکن کار می‌کنه و روی AIME 24 به ۷۹.۲٪ رسیده.