‏LLMها اون جعبهٔ سیاهی نیستن که بهتون گفتن

نویسنده می‌گه برخلاف چیزی که سال‌ها گفته شده، مدل‌های زبانی اون «جعبهٔ سیاه» تمام‌عیار نیستن. شاخه‌ای به اسم «تفسیرپذیری مکانیکی» (mechanistic interpretability) که سعی می‌کنه کارکرد درونی شبکهٔ عصبی رو مهندسی معکوس کنه، پیشرفت‌های بزرگی کرده و مقالهٔ «دربارهٔ زیست‌شناسی یک مدل زبانی بزرگ» از Anthropic یه نقطهٔ عطفه.

به گفتهٔ نویسنده، فهمیدن اینکه مدل به چی «فکر» می‌کنه از خوندن فعالیت تک‌تک نورون‌ها سخت‌تره، چون پدیده‌ای به اسم superposition هست: یه نورون تو کلی مفهوم بی‌ربط شرکت داره و هر مفهوم هم روی کلی نورون پخش شده. پس نمی‌شه معنی رو مستقیم از یه واحد خوند.