‏رشد شش‌برابری Qwen با ویرایش وزن‌ها؛ ولی ماجرا چیز دیگه‌ست

Weight space programming یعنی یه مدل پیشرفته، وزن‌های یه شبکهٔ عصبی دیگه رو (همون اعدادی که هرچی مدل یاد گرفته توشون ذخیره شده) مستقیم بخونه و بازنویسی کنه، بدون هیچ حلقهٔ آموزش و gradient. یه مقالهٔ MIT این ایده رو با مدلی به اسم GPT-6 Astra امتحان کرده. تو این مقاله اومده که Astra چند تا وزن یه مدل کوچیک Qwen رو عوض کرد و نمرهٔ ریاضیش شش برابر شد. نویسنده ولی معتقده این عدد رو باید با دقت خوند.

اول محققا چک کردن Astra می‌تونه وزن‌ها رو بخونه یا نه. چند تا شبکهٔ کوچیک با معماری یکسان رو روی چهار بازی شبیه Atari آموزش دادن و وزن‌های خامشون رو به‌صورت متن به Astra دادن. Astra بدون هیچ ابزار و لیست گزینه‌ای، هر بار درست گفت هر شبکه برای کدوم بازی بوده. مثلاً تو شبکهٔ Breakout دید وزن‌های مربوط به جای بازیکن پایین صفحه جمع شدن، جایی که پاروئه، و وزن‌های امتیاز بالای صفحه، جایی که آجرها هستن.

تو آزمون بعدی Astra یه شبکه رو از صفر (همهٔ وزن‌ها صفر) فقط با قوانین و سورس بازی ساخت. برای Breakout اول تو ذهنش یه برنامه طراحی کرد: یه لایه پیش‌بینی می‌کنه توپ کجا فرود میاد، لایهٔ دوم پارو رو می‌بره اونجا. بعد این برنامه رو مستقیم به عدد تبدیل کرد. نتیجه خیلی بهتر از شبکه‌ای بود که با reinforcement learning (یعنی یادگیری با بازی کردن مکرر و گرفتن امتیاز) آموزش دیده بود. ولی نویسنده می‌گه مقایسه منصفانه نیست چون Astra قوانین رو داشت، و تو بازی SeaQuest شبکهٔ آموزش‌دیده هنوز جلو بود.

حالا اصل ماجرا. Astra یه مدل Qwen زیر یک میلیارد پارامتر گرفت و اولین چیزی که دید این بود که مدل اغلب جوابش رو تموم نمی‌کنه. یعنی تو looping گیر می‌افتاد: چند خط رو هی تکرار می‌کرد تا به سقف توکن خروجی برسه. Astra یه الگوی داخلی پیدا کرد که درست قبل از شروع تکرار ظاهر می‌شد و همون رو تو دو لایه‌ای که قوی‌تر بود سرکوب کرد. لاگ‌ها نشون می‌دن از بیش از ۱۰۰۰ مسئلهٔ تمرینی، تقریباً همهٔ جواب‌هایی که «درست شدن» قبلاً به سقف خروجی خورده بودن. هر جا مدل اصلی جوابش رو تموم کرده بود، تقریباً همیشه درست بود.

نکتهٔ مهم‌تر اینکه model card خود Qwen هشدار داده این مدل تو thinking mode بیشتر تو حلقه گیر می‌کنه. مقاله همهٔ تست‌ها رو دقیقاً تو همین حالت و با temperature پایین‌تر از مقدار پیشنهادی اجرا کرده، که اونم looping رو بیشتر می‌کنه. یه تست مشابه روی یه مدل کوچیک Gemma هم نمرهٔ ریاضی رو تقریباً تکون نداد. نویسنده نتیجه می‌گیره که ویرایش وزن یه گیر رو برمی‌داره ولی مهارت تازه اضافه نمی‌کنه. آزمایش‌ها ظاهراً فقط یه بار اجرا شدن و Astra هم کورکورانه ویرایش نکرده؛ تغییر می‌داده، تست می‌کرده و هرچی جواب می‌داد رو نگه می‌داشته.

درس عملی به گفتهٔ نویسنده اینه: اگه یه مدل استدلالی کوچیک تو بنچمارک بد نمره می‌گیره، اول ببین چندتا از جواب‌هاش واقعاً به آخر می‌رسن. اگه بیشترشون نصفه قطع می‌شن، مشکل looping هست و شاید با عوض کردن mode، تنظیم temperature یا بالا بردن سقف توکن حل بشه، نه با آموزش دوباره. با این حال، توانایی Astra تو خوندن وزن‌ها و پیدا کردن الگوی مسئول تکرار، یه پیشرفت واقعی تو interpretability حساب می‌شه.

نکات کلیدی:

• GPT-6 Astra وزن‌های یه مدل Qwen زیر یک میلیارد پارامتر رو بدون gradient ویرایش کرد و نمرهٔ ریاضیش شش برابر شد.
• تقریباً همهٔ جواب‌های اصلاح‌شده قبلاً به سقف توکن خروجی خورده بودن، نه اینکه غلط باشن.
• Qwen تو model card گفته این مدل تو thinking mode بیشتر تو حلقه گیر می‌کنه و مقاله دقیقاً همین حالت رو با temperature پایین‌تر تست کرده.
• همین روش روی یه مدل کوچیک Gemma نمرهٔ ریاضی رو تقریباً تغییر نداد.
• Astra نوع بازی شبکه‌های Atari رو فقط از روی وزن‌های خام، هر بار درست تشخیص داد.