وقتی یه LLM وزن‌های یه شبکه‌ی دیگه رو می‌خونه: آزمایش با Qwen 3.8 27B روی Ollama
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
یه مقاله از MIT ایده‌ای به اسم weight space programming رو مطرح کرده، یعنی یه مدل زبانی وزن‌های خام یه شبکه‌ی عصبی دیگه رو به شکل متن بخونه، بفهمه اون شبکه چی کار می‌کنه و حتی ویرایشش کنه. وزن‌ها همون لیست طولانی عددهایی‌ان که مدل موقع آموزش یاد می‌گیره. توی مثال اصلی مقاله، یه مدل frontier وزن‌های یه شبکه‌ی کوچیک رو دید که قرار بود ماشینی رو از یه سطح شیب‌دار رد کنه، و درست تشخیص داد چرا مدام شکست می‌خوره.
مقاله یه قدم جلوتر هم رفته: مدل بعد از تشخیص، یه درصد کوچیک از وزن‌ها رو یه‌جا و بدون gradient descent یا آموزش دوباره عوض کرد و ماشین از اون به بعد همیشه موفق شد. توی یه تست دیگه، ویرایش بخشی از وزن‌های یه مدل کوچیک Qwen دقت ریاضی‌ش رو از حدود 7.9٪ به 48.1٪ رسونده. فرقش با fine-tuning اینه که دیگه دیتاست و حلقه‌ی آموزش لازم نیست، فقط همون چند عدد مسئول رفتار پیدا و عوض می‌شن.
این مقاله تأکید می‌کنه که مقاله‌ی MIT دو تا قابلیت متفاوت رو قاطی کرده: اینکه مدل بدون هیچ ابزاری از روی وزن‌ها چی می‌فهمه، و اینکه با اجرای کد و ابزارهای کمکی چی کار می‌تونه بکنه. منتقدهایی مثل Simon Willison می‌گن این قاطی شدن نتیجه رو جادویی‌تر از چیزی که هست نشون می‌ده. بخش ویرایش هم ادعای جدا و بزرگ‌تریه و نباید با بخش خوندن یکی حساب بشه.
Willison نسخه‌ی فقط‌خواندنی رو روی یه سیستم معمولی تکرار کرده. ابزارهاش Ollama برای سرو کردن مدل محلی، خود Qwen 3.8 27B و ابزار خط فرمان llm خودش برای فرستادن پرامپت بوده. داده‌ی وزن‌ها مستقیم توی پرامپت می‌ره و یه سؤال ساده پرسیده میشه، مثلاً این شبکه برای کدوم بازی آموزش دیده. هیچ کد آموزشی یا ابزار اضافه‌ای لازم نیست، مدل فقط روی متن استدلال می‌کنه.
هزینه‌ش کم نیست. توی یه اجرای مستند روی Ubuntu با GPU ۴۸ گیگابایتی، مدل بیشتر از 26GB VRAM مصرف کرده و هر اجرا بین حدود ۴۵ دقیقه تا بیشتر از یه ساعت طول کشیده، چون مدل عددها رو ردیف به ردیف بررسی و خودش رو اصلاح می‌کنه. پس یه کارت ۸ تا ۱۲ گیگی لپ‌تاپ کافی نیست و برای آزمایش یه‌باره، کرایه‌ی GPU ساعتی منطقی‌تره.
نتیجه: مدل محلی Pac-Man، Pong و Breakout رو درست گفت ولی Freeway رو که بازی کمتر شناخته‌شده‌ی Atari هست اشتباه گرفت. خود مقاله‌ی MIT هم شکست‌هایی گزارش کرده: مدل بزرگ نتونست از روی وزن‌ها مدل چاپلوس (sycophantic) رو از مدل معمولی تشخیص بده، و ویرایش وزن‌ها برای بهتر کردن ریاضی یه مدل کوچیک Gemma جواب نداد. نویسنده معتقده این یه مسیر تحقیقاتی ارزشمند برای دنبال کردنه، نه تکنیکی برای استفاده توی production.
نکات کلیدی:
- weight space programming یعنی یه مدل وزن‌های خام یه شبکه‌ی دیگه رو به شکل متن بخونه و ویرایش کنه.
- توی مقاله‌ی MIT ویرایش وزن‌ها دقت ریاضی یه مدل کوچیک Qwen رو از 7.9٪ به 48.1٪ رسونده.
- Qwen 3.8 27B روی Ollama بیشتر از 26GB VRAM مصرف کرده و هر اجرا ۴۵ دقیقه تا بیشتر از یه ساعت طول کشیده.
- مدل محلی سه بازی از چهار تا رو درست گفت و Freeway رو اشتباه کرد.
- تشخیص مدل sycophantic و ویرایش ریاضی مدل Gemma شکست خورده، پس فعلاً جایگزین fine-tuning نیست.
