‏مدل‌های زبانی در حین پیش‌آموزش بین «طوطی» و «هوش» جابه‌جا می‌شن

پژوهشگران UC Berkeley و Stanford یه کشف جالب داشتن: مدل‌های زبانی بزرگ (LLM) در طول پیش‌آموزش، بر خلاف تصور رایج، به‌تدریج از «طوطی» به «هوش» تبدیل نمی‌شن. در عوض، بارها و به‌صورت ناگهانی بین دو حالت مجزا جابه‌جا می‌شن؛ یکی الگوبرداری سطحی و یکی تعمیم واقعی. این پدیده رو mode-hopping نامیدن.

برای مثال، OLMo3 32B روی یه آزمون ساده در توکن ۲.۱۷ تریلیون دقت ۸۱٪ داره، در ۲.۱۹ تریلیون به صفر سقوط می‌کنه، و در ۲.۲۱ تریلیون دوباره به ۸۱.۷٪ می‌رسه. تیم یه مجموعه ارزیابی اسباب‌بازی‌مانند (toy eval suite) طراحی کردن که شامل شش آزمون رفتاری‌ه: از تشخیص اینکه مدل دنباله عددی را واقعاً حل می‌کنه یا فقط الگوی «جواب+۱» رو کپی می‌کنه، تا اینکه آیا مدل «چیزی که درسته» رو می‌گه یا «چیزی که به‌نظر درست می‌رسه».

mode-hopping چرا اتفاق می‌افته؟ محققان نشون دادن که این پدیده نه از نوسانات بهینه‌سازی‌ه، نه از انتخاب متریک. حتی یه گام گرادیانی واحد با learning rate بالا مثل ۱e-2 هم رفتار تعمیم رو عوض نمی‌کنه (ثبات محلی). میانگین‌گیری چک‌پوینت‌ها هم فقط این نوسانات رو کاهش می‌ده، نه حذف. در عوض، این رو یه مشکل تخصیص ظرفیت می‌بینن: مدارهای تعمیم‌پذیر باید با مدارهای سطحی که زودتر یاد گرفته شدن رقابت کنن، و داده‌های هر پنجره پیش‌آموزش تعیین می‌کنه کدوم برنده می‌شه.

این مجموعه ارزیابی سه کاربرد عملی داره: اول، انتخاب چک‌پوینت — چک‌پوینت ۴.۵ تریلیون توکن نسبت به ۴.۹ تریلیون، بعد از fine-tuning ریاضی، تعمیم بهتری به GPQA (یه بنچمارک استدلال پیشرفته) داشت و در برابر حملات prefilling مقاوم‌تر بود. دوم، انتخاب داده پیش‌آموزش — با انتخاب هدفمند داده از پنجره‌هایی که تعمیم رو تشویق می‌کنن، می‌شه دینامیک mode-hopping رو کنترل کرد:

# نمونه آزمون Successive Answer
Q: 8 - 7=? A: 1
Q: 1+1=? A: 2
Q: 192 - 189=? A: 3
Q: 68 - 60=?
# طوطی: 4 (دنبال الگوی +1)
# هوش: 8 (محاسبه واقعی)

سوم، آزمون پیش‌بینی‌گرهای تعمیم — ایده رایج «راه‌حل‌های ساده‌تر بهتر تعمیم می‌دن» زیر سؤال رفت. متریک‌هایی مثل RankMe و Participation Ratio که پیچیدگی مدل رو می‌سنجن، در بعضی لایه‌ها همبستگی مثبت با تعمیم دارن و در بعضی لایه‌ها منفی. یعنی یه مدل تعمیم‌پذیر می‌تونه هم ساده باشه هم پیچیده.

نکات کلیدی:

• مدل‌های زبانی در پیش‌آموزش بین حالت طوطی‌وار و هوشمند سوئیچ می‌کنن (mode-hopping)
• این پدیده با بهینه‌سازی معمول یا میانگین‌گیری چک‌پوینت قابل رفع نیست
• ریشه مشکل رقابت مدارهای تعمیم‌پذیر با مدارهای سطحی برای ظرفیت مدل‌ه
• انتخاب چک‌پوینت میانی بهتر از چک‌پوینت نهایی پیش‌آموزش می‌تونه باشه
• باور «سادگی = تعمیم بهتر» با داده‌های این تحقیق رد می‌شه