‏شبکه‌های عصبی شاید از اول تمیز بودن

Nick Cammarata، پژوهشگر سابق تیم interpretability توی OpenAI که الان توی Goodfire کار می‌کنه، ۱۵ اکتبر یه مقاله با عنوان «Neural networks are already clean» منتشر کرده. interpretability یعنی رشته‌ای که سعی می‌کنه بفهمه داخل مدل چه خبره، نه فقط خروجیش رو ببینه. حرف اصلی Cammarata اینه که داخل شبکه‌ی عصبی خیلی خواناتر از چیزیه که این رشته سال‌ها فرض می‌کرد. Cammarata قبلاً با Chris Olah مقاله‌ی معروف «Zoom In» رو سال ۲۰۲۰ نوشته بود.

سال‌ها فرضیه‌ی superposition غالب بود، یعنی چون مدل نورون کمتری از تعداد مفهوم‌های دنیا داره، چند تا ایده‌ی بی‌ربط رو توی یه نورون جا می‌ده. یکی از معروف‌ترین شاهدهاش نورون «گربه و ماشین» توی مدل تصویری Inception V1 بود. به گفته‌ی Cammarata، این نورون در واقع یه شکل V رو تشخیص می‌ده که هم توی صورت نوک‌تیز گربه هست و هم جلوی ماشین. یه مدار معروف دیگه که سگ و ماشین رو به هم وصل می‌کرد هم در واقع به چیزهایی که رو به دوربین هستن واکنش نشون می‌ده. اون می‌گه از ۲۰۲۰ تا حالا هیچ نمونه‌ی تمیز دومی از این جور مدار مخفی منتشر نشده.

عدد اصلی مقاله اینه: روی مدل باز Qwen 3 32B، حدود ۹۰ درصد نورون‌ها یه کار مشخص و قابل شناسایی داشتن. این در مقایسه با حدود ۱.۷ درصدیه که پروژه‌ی خود OpenAI سال ۲۰۲۳ تونسته بود توضیح بده. Cammarata معتقده دلیل اون شلوغی ظاهری، نورون‌هایی بود که کسی دقیق نگاهشون نکرده بود، ابزارهای ضعیف نمایش، و روش‌های امتیازدهی که حدس‌هایی رو جایزه می‌دادن که فقط پیش‌بینی می‌کردن نورون کی فعال می‌شه، نه اینکه واقعاً چی رو نشون می‌ده.

یه ادعای جنجالی دیگه درباره‌ی sparse autoencoderهاست، یعنی مدل‌های «مترجمی» که برای باز کردن نورون‌های به‌ظاهر چندمعنایی ساخته شدن. طبق مقاله، وقتی یکیشون روی همون نورون V آموزش دید، اونو مصنوعی به دو تکه‌ی «گربه» و «ماشین» شکست. یعنی ممکنه این ابزارها پیچیدگی الکی ساخته باشن. Cammarata همچنین می‌گه مفهوم‌ها مثل شاخه‌های درخت رشد می‌کنن و اسمش رو recursive generalization گذاشته. مثلاً نورونی که اول روی «IY» فعال می‌شه، کم‌کم به «DIY» و بعد به کل عبارت «do-it-yourself» می‌رسه.

چرا این برای ایمنی مهمه؟ یه مدل می‌تونه توی همه‌ی تست‌ها خوب رفتار کنه ولی یه هدف یا رفتار مخفی داشته باشه که فقط توی موقعیت‌های تست‌نشده ظاهر بشه. به این می‌گن deceptive alignment. اگه بشه نورون‌ها رو مستقیم خوند، پژوهشگرها می‌تونن یه خروجی نگران‌کننده رو تا ویژگی داخلیش دنبال کنن. آزمایش Golden Gate Claude شرکت Anthropic، که یه ویژگی مربوط به پل گلدن گیت پیدا و تقویت شد، نمونه‌ی اولیه‌ی همین کنترل مستقیمه.

البته مقاله تأکید می‌کنه که مشکل حل نشده. هنوز درصدی از نورون‌های Qwen 3 32B توضیح داده نشدن، نتیجه‌ها باید روی معماری‌ها و اندازه‌های دیگه تکرار بشن، و هیچ مدل بسته‌ی پیشرفته‌ای علناً این‌طوری بازرسی نشده. خوندن تک‌تک نورون‌ها هم با فهمیدن تعامل هزاران نورون توی یه استدلال زنده فرق داره. چیزی که عوض می‌شه، فرض پایه‌ی پژوهشگرهاست: از «مدل‌ها ذاتاً قابل خوندن نیستن» به «مدل‌ها با ابزار درست قابل خوندن هستن».

نکات کلیدی:

• روی Qwen 3 32B حدود ۹۰ درصد نورون‌ها کار مشخص داشتن، در برابر ۱.۷ درصد توی پروژه‌ی OpenAI سال ۲۰۲۳.
• نورون «گربه و ماشین» توی Inception V1 در واقع یه تشخیص‌دهنده‌ی شکل V بوده.
• آموزش sparse autoencoder روی این نورون اونو مصنوعی به دو ویژگی جدا شکست.
• Cammarata اسم رشد درختی مفهوم‌ها رو recursive generalization گذاشته.
• Goodfire، آزمایشگاه فعلی Cammarata، امسال ۱۵۰ میلیون دلار با ارزش ۱.۲۵ میلیارد دلار جذب کرده.
• خواناتر بودن مدل‌ها به‌تنهایی به معنی امن بودنشون نیست.