‏نیک کاماراتا: داخل شبکه‌های عصبی اون‌قدرها هم شلوغ نیست

نیک کاماراتا، یکی از نویسنده‌های مقالهٔ معروف «Zoom In» در سال ۲۰۲۰ و پژوهشگر سابق تیم interpretability (یعنی رشته‌ای که سعی می‌کنه بفهمه داخل مدل چی می‌گذره) تو OpenAI، ۱۵ اکتبر یه مقالهٔ پژوهشی منتشر کرده. حرف اصلیش اینه که برخلاف باور چندسالهٔ این حوزه، بیشتر نورون‌های یه شبکهٔ عصبی یه وظیفهٔ واحد و قابل‌فهم دارن، به شرطی که درست نگاهشون کنی.

تا امروز فرض رایج superposition بود، یعنی چون تعداد نورون‌ها از تعداد مفهوم‌های دنیا کمتره، مدل چند ایدهٔ بی‌ربط رو تو یه نورون فشرده می‌کنه. اسم این حالت که یه نورون برای چند مفهوم فعال می‌شه polysemanticity هست. برای همین این حوزه رفت سراغ sparse autoencoder، یعنی یه مدل دوم که قراره نمایش‌های درهم مدل اول رو از هم باز کنه. آمار هم ناامیدکننده بود: یه پروژهٔ OpenAI در ۲۰۲۳ فقط حدود ۱.۷ درصد نورون‌ها رو قابل توضیح دونسته بود.

کاماراتا رفت سراغ معروف‌ترین مثال: نورونی تو مدل تصویری Inception V1 که هم برای صورت گربه فعال می‌شد هم برای جلوی ماشین. به گفتهٔ اون، این نورون در واقع یه شکل V رو تشخیص می‌ده؛ صورت گربه با گوش‌ها و چونه به یه نوک می‌رسه و جلوی ماشین هم همین‌طور. شعله و فوارهٔ آب V‌شکل هم فعالش می‌کنن و چیزی که بیشتر از همه خاموشش می‌کنه تصویرهای گرد O‌شکله. یه نورون با مفهوم‌های تصادفی نباید یه «نقطهٔ مقابل» منسجم داشته باشه، ولی یه تشخیص‌دهندهٔ شکل داره.

اون یه circuit از سال ۲۰۲۰ رو هم که خودش با Chris Olah منتشر کرده بود دوباره بررسی کرد؛ جایی که به نظر می‌رسید مفهوم ماشین بین نورون‌های سگ قایم شده. معلوم شد وجه مشترک ساده‌تر بوده: همه‌شون رو به دوربین بودن. کاماراتا توضیح می‌ده که نورون‌ها مثل شاخه‌های درخت رشد می‌کنن، یعنی recursive generalization. یه نورون که اول به مزرعهٔ زرد کلزا جواب می‌داد، کم‌کم رفت سراغ سگ تو چمن، توپ تنیس، سگ‌های پشمالو و آخرش بروکلی. ترکیب نهایی بی‌ربط به نظر می‌رسه ولی زنجیره‌ش قابل ردگیریه.

به گفتهٔ نویسنده، بخشی از این آشفتگی تقصیر ابزارها بود. روش‌های visualization تو لایه‌های عمیق‌تر خودبه‌خود به تصویر سگ می‌رسیدن و سیستم‌های نمره‌دهی، حدسی رو که فعال‌شدن نورون رو پیش‌بینی می‌کرد درست حساب می‌کردن، حتی اگه واقعاً درست نبود. روی مدل زبانی open-weight شرکت Alibaba با ۳۲ میلیارد پارامتر (Qwen)، حدود ۹۰ درصد نورون‌ها یه کار مشخص داشتن، ۷ درصد دو کار مرتبط و فقط ۲ تا ۴ درصد بی‌توضیح موندن. مثلاً یه نورون از حروف «IY» شروع کرد، رسید به «DIY» و بعد به خود عبارت «do-it-yourself».

البته این فعلاً مقالهٔ یه پژوهشگره، نه یه مقالهٔ داوری‌شده با تکرار مستقل. Sam Altman و یه پژوهشگر OpenAI ازش استقبال کردن، ولی آزمون واقعی اینه که آزمایشگاه‌های دیگه بتونن این نرخ‌ها رو روی مدل‌ها و معماری‌های دیگه تکرار کنن.

نکات کلیدی:

• نورون معروف «گربه-ماشین» تو Inception V1 در واقع شکل V رو تشخیص می‌ده و تصویرهای O‌شکل خاموشش می‌کنن.
• روی مدل Qwen با ۳۲ میلیارد پارامتر، حدود ۹۰ درصد نورون‌ها یه کار مشخص داشتن؛ در برابر ۱.۷ درصد تو پروژهٔ ۲۰۲۳ OpenAI.
• نورون‌ها با recursive generalization رشد می‌کنن: از مزرعهٔ کلزا تا توپ تنیس و بروکلی، قدم‌به‌قدم.
• sparse autoencoder همین نورون V رو به دو بخش جدای گربه و ماشین شکسته بود.
• کاماراتا الان تو Goodfire کار می‌کنه که ۱۵۰ میلیون دلار با ارزش‌گذاری ۱.۲۵ میلیارد دلار جذب کرده.
• ادعا هنوز داوری و تکرار مستقل نشده.