‏مدل‌های زبانی حالا وزن‌های شبکه‌های عصبی دیگه رو می‌خونن و ویرایش می‌کنن

تیم CSAIL دانشگاه MIT یه پژوهش به اسم «Sparks of weight space programming» منتشر کرده. weight space programming یعنی یه مدل زبانی، وزن‌های یه شبکه عصبی دیگه (همون میلیون‌ها عدد اعشاری که موقع آموزش تنظیم می‌شن) رو به شکل متن ساده بخونه و مستقیم ویرایششون کنه. این کار بدون gradient descent (الگوریتم معمول آموزش که وزن‌ها رو کم‌کم تنظیم می‌کنه)، بدون داده آموزشی و بدون optimizer انجام می‌شه.

پژوهشگرها وزن‌های خام چهار شبکه کوچیک بازی‌کن (هر کدوم حدود ۱۷ هزار وزن) رو بدون هیچ توضیحی به GPT-6 Astra دادن. مدل هر چهار بازی یعنی Breakout، Pong، Pac-Man و یه بازی شبیه Freeway رو درست تشخیص داد. شکل‌های مدل‌های diffusion رو هم درست گفت. حتی وقتی لایه‌های ورودی و خروجی سه مدل زبانی کوچیک رو برداشتن، باز زبانشون (انگلیسی، ژاپنی، Python) رو فهمید و induction headها (یعنی ساختارهایی که الگوها رو کپی می‌کنن) رو پیدا کرد.

ولی محدودیت هم داره. GPT-6 Astra فقط با وزن‌های خام نتونست یه نسخه صادق Gemma رو از یه نسخه sycophantic (یعنی مدلی که چیزی رو می‌گه که کاربر دوست داره بشنوه) تشخیص بده و هر چهار بار شکست خورد. اما وقتی یه ابزار برای دیدن attention داخلی مدل‌ها بهش دادن، هر بار درست جواب داد و حتی بخش مقصر رو پیدا کرد.

نتیجه‌ای که بیشتر از همه دیده شد مربوط به Qwen3.5-0.8B بود. GPT-6 Astra دید این مدل توی حلقه‌های استدلالی گیر می‌کنه و انقدر خودش رو تکرار می‌کنه تا جا تموم بشه. منشأش رو توی دو لایه پیدا کرد و حذفش کرد. این کار فقط حدود ۱۳۱ هزار وزن، یعنی ۰.۰۱۶ درصد مدل رو عوض کرد. نمره math 500 از ۷.۹ به ۴۸.۱ درصد رسید و یه بنچمارک دنبال‌کردن دستورها هم از ۲۱ به ۶۲.۳ درصد رفت. همین روش روی Gemma 3 که این مشکل رو نداره تقریباً اثری نداشت.

طبق تست‌های Alex Krenzler، این توانایی توی GPT-5 تا GPT-5.5 تقریباً نبود، ولی GPT-6.1 حدود ۱۸ برابر و GPT-6 Astra حدود ۲۲ برابر یه baseline آموزش‌دیده نتیجه گرفتن. Claude Opus 5.5 هم به حدود ۲۰ برابر رسید، در حالی که Opus 5 و قبل‌ترها تقریباً هیچ توانایی‌ای نداشتن. یه پژوهشگر دیگه با Opus 5.5 مدل Qwen3.5-4B رو با تغییر فقط حدود ۰.۰۰۰۱۲ درصد وزن‌ها ویرایش کرد.

نویسنده می‌گه این یه نشونه اولیه و محدود از بهترکردن هوش مصنوعی با هوش مصنوعیه، نه یه جهش کلی. با این حال، GPT-6 Astra یه شبکه کامل Breakout رو از صفر و فقط با قوانین بازی نوشت که حدود ۲۰ برابر بهتر از شبکه‌ای بود که ۵۰۰ میلیون قدم با reinforcement learning آموزش دیده بود. روی Seaquest ضعیف‌تر بود و روی Asteroids تقریباً برابر.

نکات کلیدی:

• GPT-6 Astra با تغییر ۰.۰۱۶ درصد وزن‌های Qwen3.5-0.8B، نمره math 500 رو از ۷.۹ به ۴۸.۱ درصد رسوند.
• همین روش روی Gemma 3 تقریباً بی‌اثر بود، چون فقط مانع‌ها رو برمی‌داره و مهارت جدید اضافه نمی‌کنه.
• مدل‌های GPT-5 تا GPT-5.5 و Claude Opus تا نسخه 5 تقریباً این توانایی رو نداشتن.
• Claude Opus 5.5 حدود ۲۰ برابر و GPT-6 Astra حدود ۲۲ برابر baseline نتیجه گرفتن.
• تشخیص مدل sycophantic فقط از روی وزن‌های خام شکست خورد و به ابزار بررسی attention نیاز داشت.