وزنهای شبکه عصبی رو مستقیم با LLM بنویس
خلاصهٔ کاملتر
چند هفته پیش تیم MIT CSAIL نشون داده بود که مدلهای زبانی بزرگ میتونن وزنهای شبکه عصبی رو مستقیم بخونن و بنویسن، بدون gradient descent (یعنی همون روش معمول آموزش که وزنها رو قدمبهقدم با داده تنظیم میکنه). اسم این کار رو گذاشتن Weight-Space Programming یا WSP. نویسنده این مقاله خواسته خودش امتحانش کنه و ببینه یه LLM تا کجا میتونه فقط با دستکاری وزنها یه مدل بسازه یا بهترش کنه.
برای این کار یه harness ساخته: ایجنت توی یه کانتینر Docker بدون اینترنت فقط به Python و NumPy دسترسی داره. وزنها رو بهشکل آرایههای NumPy میگیره، با ابزار samples چند تا نمونه داده میبینه، با commit و reset نسخهها رو نگه میداره و با evaluate روی validation امتیاز میگیره. تعداد نوبتها و دفعات ارزیابی محدوده تا ایجنت نتونه با حدسزدن امتیاز رو بالا ببره. یه LLM دیگه هم لاگها رو چک کرده و هیچ اجرایی قانون رو نشکسته. مدل اصلی Claude Opus 5.5 بوده.
روی MNIST (تصویر ارقام دستنویس) ایجنت هر رقم رو با خط و کمان و بیضی کشیده و ازش نسخههای کج و کشیده ساخته. دقتش ۶۴.۱ درصد شد، در حالی که آموزش معمولی توی کمتر از ۲۰ ثانیه به بالای ۸۵ درصد میرسه. روی CartPole (نگهداشتن یه میله روی گاری) با یه قاعده خطی ساده توی چند نوبت امتیاز کامل گرفته. نویسنده میگه این جواب کتابیه و ایجنت فقط چیزی رو که بلد بوده پیاده کرده.
روی تحلیل احساس نظرهای IMDB با یه مدل bag-of-words (یعنی هر کلمه فقط یه وزن داره) ایجنت یه دیکشنری کلمههای مثبت و منفی ساخته و به ۸۶.۲ درصد رسیده، فقط ۰.۸ واحد کمتر از مدل آموزشدیده. توی دو مارپیچ بدون اینکه بهش بگن داده چیه، شکل رو از ۱۰۰ نقطه تشخیص داده و روی تست ۹۹.۹ درصد گرفته. توی مسئله پرانتزها با یه RNN هم فهمیده کافیه برای هر نوع پرانتز باز منهای بسته رو بشمره و روی همه طولها ۱۰۰ درصد گرفته.
سختترین آزمون یه LSTM کاراکتری روی متنهای شکسپیر بوده. از صفر به حدود ۳۴ درصد رسیده. بعد نویسنده یه مدل نیمهآموزشدیده با دقت ۳۹.۹ درصد بهش داده و ایجنت بعد از ۳۶ دقیقه فقط به ۴۰.۵ درصد رسوندش، تقریباً اندازه نصف یه epoch آموزش بیشتر. Claude Fable 5.2 هم با روشی پیچیدهتر تقریباً به همونجا رسیده.
نویسنده نتیجه میگیره که WSP جای حلقه آموزش رو نمیگیره و gradient descent ارزونتر، سریعتر و معمولاً دقیقتره. ولی مزیتش اینه که ایجنت دلیل هر وزن رو صریح توضیح میده و برای مدلهای کوچیک، شبکهای که بشه گفت هر واحدش چی کار میکنه شاید چند درصد دقت رو بیرزه. به نظرش شاید کاربرد بهتر این روش، ساختن وزنهای اولیه بهجای وزنهای تصادفی باشه.
نکات کلیدی:
- WSP یعنی LLM وزنهای شبکه رو مستقیم و بدون gradient descent بنویسه
- MNIST با WSP به ۶۴.۱ درصد رسید، آموزش معمولی بالای ۸۵ درصد
- IMDB به ۸۶.۲ درصد رسید با تغییر ۶۶۳ وزن از ۱۰۰۰۱ وزن، مدل آموزشدیده ۸۷ درصد
- دو مارپیچ ۹۹.۹ درصد و پرانتزها ۱۰۰ درصد روی همه طولها
- بهبود LSTM شکسپیر فقط از ۳۹.۹ به ۴۰.۵ درصد بود
- همه آزمایشها با Claude Opus 5.5 و فقط Python و NumPy بدون اینترنت انجام شد




