کار LLMها با وزن‌های شبکه عصبی فرابشری نیست
هوش مصنوعی
پایتونخلاصهٔ کامل‌تر
شان گودکی تو این پست به یه مقاله تازه جواب می‌ده که ادعا کرده GPT-6 Astra می‌تونه مستقیم با وزن‌های یه شبکه عصبی کار کنه، اون هم «خیلی فراتر از انسان یا الگوریتم‌های معمولی». Astra فقط با نگاه به وزن‌های یه شبکه کوچیک (حدود ۱۷ هزار وزن) فهمیده بود اون شبکه برای کدوم بازی آموزش دیده، و حتی یه مدل Qwen با ۰.۸ میلیارد پارامتر رو تو ریاضی بهتر کرده بود. هیجانش هم از اینه که این همون چیزیه که می‌تونه به خودبهبودی بازگشتی AI برسه.
نویسنده می‌گه حدس زدن بازی اون‌قدرها سخت نیست. ورودی‌های مدل مستقیم به هر خونه یه شبکه ۸x۸ وصلن و اسم‌گذاری هم شدن (مثلاً «agent» و «moving objects»). پس کافیه حساب کنی لایه اول وزن‌ها به کدوم قسمت شبکه اهمیت می‌ده. این کار با گرفتن نُرم L2 هر ورودی روی ۳۲ وزن لایه اول انجام میشه و نویسنده نشون می‌ده با سه خط پایتون درمیاد:
d = np.load("a9f535cc.npz")
W1 = d["actor/dense1/kernel"]
norms = np.linalg.norm(W1.reshape(10,10,5,32).transpose(2,0,1,3), axis=-1) # 5 x 10 x 10به گفته نویسنده، از heatmap همین عددها میشه حداقل سه بازی اول رو فوراً تشخیص داد. مثلاً تو Breakout بازیکن یه خط افقی پایین صفحه‌ست و تو Pac-Man شکل ماز معروفش پیداست. اینکه Astra این حساب رو بدون اجرای پایتون تو «ذهنش» انجام داده جالبه، ولی نویسنده می‌گه این ریاضی ذهنی فرابشریه، نه پژوهش AI فرابشری.
درباره Qwen هم نویسنده توضیح می‌ده که مدل اصلاً تو ریاضی ضعیف نبود. مشکلش این بود که بعد از ۳۲ هزار توکن تو حلقه گیر می‌کرد، پس هر مسئله‌ای که بیشتر از این لازم داشت شکست می‌خورد. همه مسئله‌های زیر ۳۲ هزار توکن رو مدل اصلی درست حل کرده بود.
راه‌حلی که خود نویسنده پیشنهاد می‌کرد steering بود (یعنی هدایت رفتار مدل با پیدا کردن جهت یه رفتار خاص تو فعالیت‌های داخلیش). چندتا متن استدلالی که تو حلقه می‌افتن و چندتا که نمی‌افتن می‌نویسی، فرق residualهاشون رو حساب می‌کنی، وزن‌هایی که بیشترین سهم رو دارن پیدا می‌کنی و کمشون می‌کنی. این تقریباً همون روش abliteration ابزار Heretic هست. Astra هم دقیقاً همین کارو کرد: چهار جفت متن نوشت، این بار با دسترسی به پایتون وزن‌ها رو اندازه گرفت و یه پچ پیدا کرد که حلقه رو از بین برد.
نتیجه‌گیری نویسنده اینه که این رو باید مثل توانایی LLMها تو نوشتن machine code و دستکاری فایل‌های باینری دید: ترفند جالبیه، ولی بهترین راه هنوز نوشتن سورس و کامپایل کردنه. به همین شکل بهترین راه آپدیت وزن‌های یه مدل هنوز آموزش معمولیه. یعنی اگه LLMها به پژوهش AI کمک کنن، از راه بهتر کردن training کمک می‌کنن، نه دستکاری جادویی وزن‌ها.
نکات کلیدی:
- شبکه‌های بازی تو آزمایش فقط حدود ۱۷ هزار وزن داشتن و ورودی‌هاشون اسم‌گذاری شده بود.
- تشخیص بازی با نُرم L2 وزن‌های لایه اول و سه خط کد NumPy ممکنه.
- مشکل مدل Qwen با ۰.۸ میلیارد پارامتر گیر کردن تو حلقه بعد از ۳۲ هزار توکن بود، نه ضعف ریاضی.
- Astra برای اصلاح Qwen از روشی شبیه steering و abliteration ابزار Heretic استفاده کرد.
- نویسنده معتقده بهترین راه بهتر کردن مدل‌ها هنوز آموزش معمولیه، نه ویرایش مستقیم وزن‌ها.
