آیا SAEها میتونن هندسهی شبکههای عصبی رو ثبت کنن؟
هوش مصنوعیخلاصهٔ کاملتر
شبکههای عصبی بزرگ اطلاعات رو روی ساختارهای هندسی پیچیده — مثل منیفولدهای منحنی — نمایش میدن. فهمیدن و کنترل این شبکهها مستقیماً به درک این هندسه بستگی داره. مشکل اینجاست که کار با خطوط مستقیم خیلی راحتتر از منحنیهاست — ولی آیا میشه با همین خطوط، منحنیها رو هم توضیح داد؟
SAE (اتوانکودر پراکنده) یه روش محبوب در تفسیرپذیری مدلهاست که سعی میکنه فعالسازیهای شبکه رو بهصورت ترکیب خطی از «ویژگی»ها (جهتها در فضای فعالسازی) بیان کنه. ایدهی اولیه این بود که هر جهت یه مفهوم مستقل باشه — مثلاً «دما» یا «احساسات» — ولی الان میدونیم که واقعیت پیچیدهتره.
پژوهشگران Goodfire با آموزش SAE روی دادههای مصنوعی حاوی ساختارهایی مثل چنبره (donut)، کره، و نوار موبیوس، سه شیوهی مختلف برای نمایش منیفولد توسط SAE پیدا کردن:
- Shattering (تکهتکه شدن): هر نقطهی روی منیفولد یه ویژگی مجزا داره.
- Compact capture (ثبت فشرده): کل منیفولد با تعداد کمی ویژگی مشترک نمایش داده میشه.
- Dilution (رقیق شدن): نقاط منیفولد بین ویژگیهای متعددی پخش میشن — حالتی بین دو مورد قبل.
وقتی SAE روی شبکههای عصبی واقعی آموزش میبینه، معمولاً حالت dilution رخ میده. یعنی هر ویژگی SAE فقط یه تکه از منیفولد رو میبینه. مثلاً در منیفولد «دما»، یه ویژگی مربوط به «هوای سرد» میشه و دیگری به «گرمای شدید» — ولی هیچکدام تنها، تصویر کامل رو نمیدن. این دقیقاً مثل حکایت مردان نابینا و فیل هست: هر کدوم بخشی از حقیقت رو میگن، ولی کل داستان گم میشه.
برای حل این مشکل، تیم Goodfire یه پایپلاین بدون نظارت (unsupervised pipeline) ساخته که بهجای تحلیل ویژگیهای SAE بهتنهایی، دستههایی از ویژگیهای مرتبط رو شناسایی میکنه. این پایپلاین الگوهای آماری در فعالسازی ویژگیها رو آنالیز میکنه تا بفهمه کدوم ویژگیها با هم یه منیفولد مشترک رو پوشش میدن. آزمایشها روی مدل Llama 3.1 8B نشون داده که این رویکرد میتونه ساختارهای هندسی معناداری رو بهصورت خودکار کشف کنه.
نکات کلیدی:
- SAEها نمایشهای شبکههای عصبی رو به جهتهای خطی تجزیه میکنن، ولی هندسهی واقعی شبکهها منحنیه.
- هر ویژگی SAE معمولاً فقط یه تکه از یه منیفولد بزرگتر رو نشون میده (حالت dilution).
- برای فهمیدن کل ساختار، باید دستهای از ویژگیهای مرتبط رو با هم تحلیل کرد.
- پایپلاین پیشنهادی این دستهها رو بهصورت خودکار و بدون نظارت پیدا میکنه.
- هدف نهایی، درک مکانیستی و کنترل دقیقتر شبکههای عصبی از طریق هندسهی درونیشونه.
