‏مدل‌های زبانی در حین پیش‌آموزش بین «طوطی» و «هوش» جابه‌جا می‌شن

پژوهشگران UC Berkeley و Stanford یه کشف جالب داشتن: مدل‌های زبانی بزرگ (LLM) در طول پیش‌آموزش، بر خلاف تصور رایج، به‌تدریج از «طوطی» به «هوش» تبدیل نمی‌شن. در عوض، بارها و به‌صورت ناگهانی بین دو حالت مجزا جابه‌جا می‌شن؛ یکی الگوبرداری سطحی و یکی تعمیم واقعی. این پدیده رو mode-hopping نامیدن.

برای مثال، OLMo3 32B روی یه آزمون ساده در توکن ۲.۱۷ تریلیون دقت ۸۱٪ داره، در ۲.۱۹ تریلیون به صفر سقوط می‌کنه، و در ۲.۲۱ تریلیون دوباره به ۸۱.۷٪ می‌رسه. تیم یه مجموعه ارزیابی اسباب‌بازی‌مانند (toy eval suite) طراحی کردن که شامل شش آزمون رفتاری‌ه: از تشخیص اینکه مدل دنباله عددی را واقعاً حل می‌کنه یا فقط الگوی «جواب+۱» رو کپی می‌کنه، تا اینکه آیا مدل «چیزی که درسته» رو می‌گه یا «چیزی که به‌نظر درست می‌رسه».