‏Mode-hopping: مدل‌های زبانی وسط آموزش بین طوطی و هوشمند می‌پرن

معمولاً فرض می‌کنیم یه مدل زبانی تو پیش‌آموزش کم‌کم از یه «طوطی» که فقط الگو تکرار می‌کنه به یه سیستم با هوش قابل‌تعمیم می‌رسه. Wen و همکارانش تو این مقاله می‌گن این تصویر اشتباهه. به گفته اونا مدل‌ها تو طول پیش‌آموزش مدام و ناگهانی بین محاسبات طوطی‌وار و محاسبات هوشمند جابه‌جا می‌شن. اسم این پدیده رو گذاشتن mode-hopping.

یه مثال مشخص: روی یه پرامپت حسابی «answer+1»، مدل OLMo3-32B تو 2.17 تریلیون توکن 81% درست جواب می‌ده، تو 2.19T به 0% می‌رسه و تو 2.21T دوباره 81.7% می‌شه. اینجا موفقیت یعنی جواب درست حسابی (8) بر ادامه وسوسه‌انگیز الگو (4) غلبه کنه. این در حالیه که loss آموزش و بنچمارک‌های معمول کاملاً صاف و پایدار پیش می‌رن، یعنی این تغییرات زیر سطح پنهون می‌مونن.

نویسنده‌ها یه مجموعه شش‌تایی تست ارزون zero-shot و few-shot ساختن، به‌علاوه دو تست تعمیم بعد از fine-tuning. این تست‌ها چیزایی مثل برچسب‌های برعکس در برابر الگوی آشنای احساسات، حقیقت در برابر چیزی که فقط درست به نظر می‌رسه، و جواب شهودی غلط در برابر استدلال سنجیده رو مقایسه می‌کنن. بررسی روی چک‌پوینت‌های پیش‌آموزش OLMo3 و Apertus انجام شده که 9 تا 90 برابر بودجه بهینه Chinchilla آموزش دیدن.

برای اینکه نشون بدن این فقط نویز معیار نیست، mode-hopping رو هم تو دقت سخت و هم تو حاشیه احتمال نرم (اختلاف احتمال جواب درست و غلط) دیدن، چه بر حسب توکن و چه بر حسب FLOPs. یه قدم بهینه‌سازی تکی، حتی با learning rate برابر 1e-2، تقریباً هیچ اثری نداره. میانگین‌گرفتن از پنج چک‌پوینت هم مشکل رو کمتر می‌کنه ولی از بین نمی‌بره. تفسیر نویسنده‌ها اینه که تو مدلی با ظرفیت محدود، مدارهای قابل‌تعمیم با مدارهای سطحی اولیه رقابت می‌کنن. البته این یه فرضیه‌ست و آزمایش‌ها خود مدارها رو نشون نمی‌دن.

دو کاربرد عملی هم نشون دادن. با همین تست‌ها چک‌پوینت 4.5T رو در برابر 4.9T انتخاب کردن؛ بعد از SFT ریاضی، 4.5T روی GPQA به 36.3% رسید در برابر 29.8%. بعد از post-training عمومی هم مقاومتش در برابر prefilling attack ‏53% بود در برابر 21%. تو یه آزمایش کوچیک دیگه، ادامه آموزش با داده‌هایی که عمداً انتخاب شده بودن رفتار مدل رو به سمت دلخواه پایدار کرد، ولی داده تصادفی همچنان پرش داشت. مجموعه تست‌ها با اسم GDsuite روی گیت‌هاب منتشر شده.

نکات کلیدی:

• mode-hopping یعنی جابه‌جایی ناگهانی مدل بین الگوبرداری سطحی و تعمیم واقعی تو طول پیش‌آموزش.
• OLMo3-32B روی تست answer+1 از 81% به 0% و دوباره به 81.7% رسید، فقط تو 40 میلیارد توکن.
• یه قدم بهینه‌سازی تکی یا میانگین‌گیری از چک‌پوینت‌ها این رفتار رو توضیح نمی‌ده و رفعش نمی‌کنه.
• چک‌پوینت 4.5T بعد از SFT روی GPQA ‏36.3% گرفت، در برابر 29.8% برای چک‌پوینت دیرتر 4.9T.
• رقابت مدارهای سطحی و قابل‌تعمیم فقط فرضیه نویسنده‌هاست، نه نتیجه اثبات‌شده.