LLMها اون جعبهٔ سیاهی نیستن که بهتون گفتن
هوش مصنوعیClaude Opus 4.8خلاصهٔ کامل‌تر
نویسنده می‌گه برخلاف چیزی که سال‌ها گفته شده، مدل‌های زبانی اون «جعبهٔ سیاه» تمام‌عیار نیستن. شاخه‌ای به اسم «تفسیرپذیری مکانیکی» (mechanistic interpretability) که سعی می‌کنه کارکرد درونی شبکهٔ عصبی رو مهندسی معکوس کنه، پیشرفت‌های بزرگی کرده و مقالهٔ «دربارهٔ زیست‌شناسی یک مدل زبانی بزرگ» از Anthropic یه نقطهٔ عطفه.
به گفتهٔ نویسنده، فهمیدن اینکه مدل به چی «فکر» می‌کنه از خوندن فعالیت تک‌تک نورون‌ها سخت‌تره، چون پدیده‌ای به اسم superposition هست: یه نورون تو کلی مفهوم بی‌ربط شرکت داره و هر مفهوم هم روی کلی نورون پخش شده. پس نمی‌شه معنی رو مستقیم از یه واحد خوند.
تکنیک Anthropic که circuit tracing نام داره، یه مدل «جایگزین» آموزش می‌ده که خروجی لایه‌های مدل اصلی رو به‌صورت پراکنده بازسازی کنه. این کار فعالیت‌های مدل رو به مجموعه‌ای از ویژگی‌ها تجزیه می‌کنه که با مفاهیم قابل‌فهم برای آدم — مثل «تگزاس» یا «المپیک» — مطابقت دارن.
وقتی این روش رو اجرا می‌کنی، میشه دید مدل واقعاً چند مرحله‌ای استدلال می‌کنه. مثلاً وقتی می‌پرسی «پایتخت ایالتی که دالاس توشه چیه؟»، به‌ترتیب اول ویژگی «دالاس» فعال میشه، بعد «تگزاس» روشن میشه و آخر «آستین». مدل حتی موقع نوشتن شعر به قافیه‌های بعدی «فکر می‌کنه». به گفتهٔ نویسنده، این پدیده فقط مخصوص مدل‌های زبانی نیست و سیستم‌هایی مثل AlphaZero هم مفاهیم انسانی مثل «کیش» رو خودشون کشف کردن.
فهم بهتر می‌تونه به طراحی الگوریتم‌های بهتر کمک کنه؛ مثلاً Claude 3.5 Haiku برای جمع اعداد کوچیک یه الگوریتم یاد گرفته که با حساب ذهنی آدم فرق داره و مسئله رو به مسیرهای موازی تقسیم می‌کنه. نکتهٔ جالب اینه که خود مدل لزوماً بینش فراشناختی به این فرایند نداره: اگه ازش بپرسی چطور جمع کرد، یه روش مرتبِ انسانی رو توضیح می‌ده که اون چیزی نیست که واقعاً اجرا کرده — انگار مدل یه‌جور «ناخودآگاه» داره.
نکات کلیدی:
- superposition باعث میشه معنی روی نورون‌ها پخش بشه و قابل‌خوندن مستقیم نباشه
- circuit tracing فعالیت مدل رو به مفاهیم قابل‌فهم آدم تجزیه می‌کنه
- مدل‌ها واقعاً چندمرحله‌ای استدلال می‌کنن (دالاس ← تگزاس ← آستین)
- مدل بینش فراشناختی به فرایند درونی خودش نداره
