نورونها خودشون واحد قابلفهم مدلهای زبانیان
خلاصهٔ کاملتر
تیم Goodfire تو این مقاله ادعا میکنه که نورونهای مدلهای زبانی (یعنی تکتک واحدهای لایهٔ میانی MLP تو ترنسفورمر) خیلی قابلفهمتر از چیزیان که فکر میکردیم. سالها این نورونها رو polysemantic میدونستن، یعنی هر نورون به چیزهای بیربط زیادی واکنش نشون میده. برای همین خیلی از محققها رفتن سراغ ساختن «دیکشنری ویژگی» با مدلهای جداگونهای مثل sparse autoencoder. نویسندهها میگن این کار یه لایهٔ اضافه بین ما و خود مدل میذاره.
آزمایشها روی مدل MoE به اسم Qwen3.6-35B-A3B انجام شده. اولین یافته اینه که نورونها از قبل تقریباً sparse هستن، یعنی تو هر قدم فقط تعداد کمیشون واقعاً مهمن. وقتی تو هر لایه فقط ۳۲۰ نورون قویتر از ۴۰۹۶ نورون routed نگه داشته شد (یعنی ۹۲.۲٪ حذف شد)، loss فقط حدود ۲.۹٪ بیشتر شد و مدل تو بنچمارکهایی مثل ARC و HellaSwag تقریباً همسطح نسخهٔ اصلی موند. مدل ضعیفشده تو استدلال گیر میکرد و مدام جوابشو چک میکرد، ولی با ۹۱ میلیون توکن SFT و ۹ میلیون توکن RL دوباره به سطح قبل رسید.
نکتهٔ مهم اینه که این نورونهای باقیمونده تقریباً همیشه تو بازهٔ p97/3 فعال بودن، یعنی بالای صدک ۹۷ تو سمت مثبت یا زیر صدک ۳ تو سمت منفی. به گفتهٔ نویسندهها، دقیقاً همین بازهست که نورونها توش راحتتر توضیح داده میشن. پس اگه فقط سراغ این دو سر طیف بریم، بخش اصلی کار MLP رو میفهمیم.
یافتهٔ دوم دربارهٔ «mode»هاست. نویسندهها بهجای اینکه فقط ببینن نورون روی چه متنی روشن میشه، نقش محاسباتیش رو بررسی کردن: کدوم نورونهای قبلی روشنش میکنن و کدوم نورونهای بعدی از خروجیش استفاده میکنن. این زیرمدارها (subcircuit) رو تو گروههای معنایی به اسم mode دستهبندی کردن. بیشتر نورونها یا فقط یه mode دارن یا یه mode غالب که دستکم ۹۰٪ اثرشون از همونه. مثلاً یه نورون میتونه مخصوص «واژههای سلامت به زبان چینی» باشه.
یافتهٔ سوم اینه که میشه با agentها برای هر نورون یه توضیح کوتاه به زبان طبیعی نوشت و اون توضیح واقعاً کار میکنه. یه مدل داور فقط با خوندن توضیح، تو ۹۵٪ موارد تشخیص میده نورون روی یه متن روشن میشه یا نه (شانس تصادفی ۵۰٪ـه). با شبیهسازی رفتار نورون تو قویترین فعالسازیها، ۷۳٪ از آسیب حذف نورون جبران میشه. برای ۹۴٪ نورونها هم تونستن متنی بنویسن که نورون رو قویتر از هر چیزی تو یه پیکرهٔ ۱۰ میلیارد توکنی روشن کنه. نتیجهای که مقاله میگیره اینه که میشه مدل رو با واحدهای خودش مطالعه کرد، نه از پشت یه مدل واسطه.
نکات کلیدی:
- مدل مورد بررسی Qwen3.6-35B-A3B بوده، با حدود ۵.۲۶ میلیون نورون
- حذف ۹۲.۲٪ از ضعیفترین فعالسازیها فقط ۲.۹٪ به loss اضافه کرده
- افت استدلال با ۹۱M توکن SFT و ۹M توکن RL جبران شده
- بیشتر نورونها یه mode دارن یا یه mode با ۹۰٪ یا بیشتر از اثر
- پیشبینی روشنشدن نورون از روی توضیحش با دقت ۹۵٪
- شبیهسازی از روی توضیح، ۷۳٪ آسیب حذف نورون رو برگردونده




