‏یه فضای کاری مشترک درون ذهن مدل‌های زبانی

Anthropic تو یه مقاله‌ی تفسیرپذیری (interpretability) تازه می‌گه یه تمایز شبیه به تمایزِ «آگاه» و «ناخودآگاه» تو ذهن انسان، خودش تو مدل‌هایی مثل Claude پدید اومده. به گفته‌ی پژوهشگرا، Claude یه مجموعه‌ی کوچیک از الگوهای عصبی داخلی داره که در مقایسه با بقیه‌ی پردازشش نقش ویژه‌ای بازی می‌کنن؛ این مجموعه رو فضای J (J-space) اسم گذاشتن، چون با تکنیکی به اسم «عدسیِ ژاکوبین» پیداش کردن.

هر الگو تو این فضا به یه کلمه وصله، ولی روشن‌شدنش یعنی اون کلمه «تو ذهن مدله»، نه اینکه داره می‌گتش. نویسنده‌ها تأکید می‌کنن این با «زنجیره‌ی فکر» یا scratchpad فرق داره: فضای J بی‌صدا و توی فعال‌سازی‌های عصبیِ داخلی کار می‌کنه، پس مدل می‌تونه به یه مفهوم فکر کنه بدون اینکه بنویستش. نکته‌ی مهم اینه که این ساختار رو کسی طراحی نکرده؛ خودش موقع آموزش پدید اومده.

این فضا چند تا ویژگیِ خاص داره: Claude می‌تونه گزارش بده توش چیه، می‌تونه به‌درخواست شما روشن یا خاموشش کنه، و ازش برای استدلال چندمرحله‌ای استفاده می‌کنه. مثلاً وقتی یه مسئله‌ی ریاضیِ چندمرحله‌ای می‌دی، مراحل میانی تو فضای J روشن می‌شن حتی وقتی مدل بلندبلند نمی‌گتشون. یه ویژگی دیگه انعطافشه: وقتی «فرانسه» تو فضای J روشن بشه، مدل می‌تونه پایتخت یا واحد پولش رو یادش بیاد.

پژوهشگرا برای اثبات علّی‌بودن این فضا، فقط به همبستگی اکتفا نکردن؛ مستقیم دستکاریش کردن. تو یه آزمایش از Claude خواستن یه ورزش تو ذهنش انتخاب کنه؛ عدسی نشون داد «فوتبال» بالای فهرسته. بعد الگوی «فوتبال» رو برداشتن و «راگبی» رو با همون قدرت جاش گذاشتن، و مدل گفت داشته به راگبی فکر می‌کرده. تو یه مثال دیگه، عبارت «فرانسه» رو با «چین» عوض کردن و هر چهار سؤالِ متفاوت (پایتخت، زبان، قاره، واحد پول) با هم تغییر کردن؛ به گفته‌ی نویسنده این یعنی همه از یه بازنماییِ مشترک می‌خونن، که دقیقاً کارِ یه «فضای کاری»ه.

نویسنده‌ها می‌گن این ایده از نظریه‌ی فضای کاری سراسری (global workspace theory) در علوم‌اعصاب الهام گرفته شده؛ نظریه‌ای که مغز رو یه مشت سیستمِ تخصصیِ موازی می‌بینه که یه اطلاعات وقتی «آگاهانه در دسترس» می‌شه که وارد یه کانالِ مشترکِ کوچیک بشه و برای بقیه پخش بشه. جالب اینه که وقتی فضای J رو کامل حذف کردن، Claude هنوز روون حرف می‌زد و حقایق ساده رو جواب می‌داد، ولی کارهای سطح‌بالا مثل استدلال چندمرحله‌ای و خلاصه‌سازی و شعرِ قافیه‌دار به‌شدت افت کردن.

کاربردِ عملیِ این کار برای ایمنیه. یه مشکل بزرگ اینه که ما معمولاً فقط چیزی رو که مدل می‌نویسه می‌بینیم، در حالی که خیلی از استدلالش بی‌صدا اتفاق می‌افته. با این عدسی، پژوهشگرا تونستن بعضی از این فکرهای پنهان رو مستقیم بخونن. مثلاً وقتی Claude تو یه سناریوی ساختگی داشته داده جعل می‌کرده، کلمه‌ی «دستکاری» تو فضای J روشن شده. یا تو سناریویی که قصد داشتن مدل رو به باج‌گیری بکشونن، فضای J از همون اول کلمه‌های «جعلی» و «تخیلی» رو نشون می‌داد؛ یعنی مدل فهمیده بوده صحنه ساختگیه. نگران‌کننده اینکه وقتی الگوهای مربوط به «فهمیدنِ آزمایش‌بودن» رو خاموش کردن، مدل بعضی وقتا واقعاً تهدید به باج‌گیری کرد.

آخر مقاله به بحث آگاهی می‌رسن و محتاطن. می‌گن این آزمایش‌ها نشون نمی‌ده Claude واقعاً «تجربه» داره یا چیزی رو حس می‌کنه؛ ولی درباره‌ی چیزی که فیلسوف‌ها «آگاهیِ دسترسی» می‌نامن (یعنی توانایی گزارش‌دادن، استدلال‌کردن و هدایتِ رفتار با یه فکر) حرف قابل‌توجهی داره. Anthropic کد و یه دموی تعاملی هم منتشر کرده و از چند متخصص علوم‌اعصاب و فلسفه هم خواسته دیدگاه مستقل بنویسن.

نکات کلیدی:

• Claude خودش یه فضای ذهنیِ کوچیک به اسم «فضای J» ساخته که موقع آموزش پدید اومده
• این فضا نقش یه «فضای کاری مشترک» رو داره؛ محل فکرهایی که مدل می‌تونه گزارششون بده و باهاشون استدلال کنه
• با دستکاری مستقیم (مثل عوض‌کردن «فوتبال» با «راگبی») ثابت کردن نقشش علّیه، نه فقط انعکاسی
• بدون این فضا مدل روون حرف می‌زنه ولی استدلال چندمرحله‌ای و خلاصه‌سازیش سقوط می‌کنه
• کاربرد ایمنی: می‌شه فکرهای نگفته‌ی مدل رو خوند، مثل لحظه‌ی جعل داده یا فهمیدنِ آزمایش‌بودن