‏مدلی که وزن‌های مدل دیگه رو می‌خونه و ویرایش می‌کنه

هر شبکهٔ عصبی ته‌اش یه عالمه عدده که بهشون وزن (weights) می‌گن و هرچی مدل یاد گرفته توشون ذخیره شده. راه معمول برای عوض کردن رفتار مدل، آموزش یا fine-tuning هست که کند و گرونه. Weight-space programming یعنی یه مدل، وزن‌های یه مدل دیگه رو مستقیم بخونه، بفهمه کدوم عددها مهمن و فقط همون‌ها رو ویرایش کنه. یه مقالهٔ MIT با عنوان «Sparks of Weight-Space Programming» ادعا می‌کنه مدل GPT-6 Astra دقیقاً همین کار رو می‌تونه بکنه.

تو این مقاله دو نمونهٔ مشخص اومده. تو یکی، یه شبکهٔ بازی‌کننده نمی‌تونست ماشین رو از روی یه سطح شیب‌دار رد کنه. Astra حدود ۳.۵٪ وزن‌ها رو تو یه مرحله عوض کرد و بعدش ماشین هر بار موفق شد. تو دومی، دقت ریاضی یه مدل کوچیک Qwen با یه ویرایش هدفمند از ۷.۹٪ به ۴۸.۱٪ رسید. هر دو بدون دادهٔ آموزشی تازه و بدون gradient انجام شدن.

سایمون ویلیسون بخش «خوندن» این ایده رو مستقل امتحان کرده. یه مدل Qwen 3 با ۲۷ میلیارد پارامتر رو از طریق Ollama روی سیستم خودش، بدون هیچ ابزار اضافه، اجرا کرد و وزن‌های خام رو بهش داد. مدل ردیف به ردیف جلو رفت، یه جا دید اشتباه شمرده و برگشت از اول اون بخش رو حساب کرد. آخر سر بازی‌هایی مثل Pac-Man، Pong و Breakout رو درست تشخیص داد ولی Freeway رو که ناشناخته‌تره نتونست. این کار حدود ۲۶ گیگ VRAM روی یه GPU چهل‌وهشت‌گیگی گرفت و هر اجرا بین ۴۵ دقیقه تا بیش از یک ساعت طول کشید.

خود مقاله هم صادقانه گفته کجاها جواب نداده. وقتی دو تا مدل به Astra دادن و پرسیدن کدومش sycophantic هست (یعنی بی‌دلیل با کاربر موافقت و چاپلوسی می‌کنه)، از روی وزن‌ها نتونست تشخیص بده. ویرایش وزن برای بهتر کردن ریاضی یه مدل کوچیک Gemma هم مثل Qwen جواب نداد. نویسنده می‌گه این ناهماهنگی نشون می‌ده روش شاید فقط روی بعضی معماری‌ها و مشکل‌ها کار کنه و هنوز نظریه‌ای نیست که بگه چرا.

نقد اصلی ویلیسون اینه که مقاله دو تا توانایی متفاوت رو قاطی کرده: خوندن وزن‌ها بدون هیچ ابزار، و خوندن وزن‌ها وقتی مدل اجازه داره کد Python اجرا کنه و عددها رو تحلیل کنه. با این قاطی شدن، سخته بفهمیم خوندن «خالص» وزن واقعاً چقدر کار می‌کنه.

به گفتهٔ نویسنده، اگه این ایده جا بیفته، سه تا کاربرد داره: بررسی ایمنی مدل‌ها برای پیدا کردن backdoor یا رفتار ناخواسته، رفع مشکل‌های کوچیک بدون هزینهٔ آموزش کامل، و ابزار تازه برای interpretability (یعنی فهمیدن اینکه شبکه چطور چیزها رو تو خودش نگه می‌داره). جمع‌بندی نویسنده اینه که فعلاً برای production مناسب نیست ولی ارزش دنبال کردن داره، چون تکرار مستقل نشون می‌ده نیمهٔ «خوندن» حداقل تا حدی واقعیه.

نکات کلیدی:

• Astra با تغییر حدود ۳.۵٪ وزن‌های یه شبکهٔ بازی، مشکل رد شدن ماشین از سطح شیب‌دار رو حل کرد.
• دقت ریاضی یه مدل کوچیک Qwen با ویرایش وزن از ۷.۹٪ به ۴۸.۱٪ رسید.
• Qwen 3 (27B) روی Ollama حدود ۲۶ گیگ VRAM گرفت و هر اجرا ۴۵ دقیقه تا بیش از یک ساعت طول کشید.
• Astra نتونست از روی وزن‌ها مدل sycophantic رو تشخیص بده و روی Gemma هم جواب نداد.
• ویلیسون می‌گه مقاله خوندن وزن بدون ابزار و با اجرای کد Python رو از هم جدا نکرده.