نورالیز: وقتی AI دیگه بلند فکر نمی‌کنه
هوش مصنوعیClaude Opus 5خلاصهٔ کامل‌تر
اسکات الکساندر تو این پست سراغ بحثی می‌ره که بعد از سناریوی AI 2027 بالا گرفته: neuralese recurrence، یعنی این‌که مدل به‌جای نوشتن فکر نیمه‌تمومش روی کاغذ، خود بردار فکر رو برگردونه به لایه‌های پایین‌تر و باز پردازشش کنه. ترنسفورمرهای امروزی حدود ۱۰۰ لایه دارن و از ۲۰۲۴ به بعد وقتی پردازش بیشتری لازم دارن، نتیجهٔ میانی رو به انگلیسی روی chain-of-thought می‌نویسن و دوباره می‌خوننش.
این دفترچه اتفاقی برای ایمنی خیلی خوب از آب دراومد، چون آدم می‌تونه بخونه مدل داره به چی فکر می‌کنه. نورالیز دقیقاً همین پنجره رو می‌بنده: فکر به‌شکل برداری با هزاران عدد جابه‌جا میشه و ما هنوز بلد نیستیم بخونیمش. interpretability هم، یعنی علم خوندن درون مدل، تازه اول راهه.
یاکوب پاچوکی، دانشمند ارشد OpenAI، می‌گه Astra این کارو نکرده و عمق گراف محاسباتیش حداکثر دو برابر چیزیه که GPT-4 داشت. منطقش اینه که حلقه فقط یک راه ارزون‌تر برای اضافه‌کردن لایه‌ست: GPT-2 چهل‌وهشت لایه داشت، GPT-3 نودوشش و GPT-4 حدود ۱۲۰؛ حالا Astra حدود ۱۸۰. کسی هم به بزرگ‌ترشدن عادی مدل‌ها اعتراضی نکرده بود.
نویسنده می‌گه لایهٔ شبیه‌سازی‌شده به‌اندازهٔ لایهٔ واقعی نمی‌ارزه؛ لایهٔ واقعی جای بیشتری برای دانش می‌ده، ولی حلقه فقط همون دانش رو چند بار تکرار می‌کنه. برآوردی که تو مقاله اومده رو بر حسب «نسل مدل» می‌سنجه: دو برابر کردن لایه‌های شبیه‌سازی‌شده فقط ۰٫۰۳ نسل جلو می‌بره، ولی دو برابر کردن لایه‌های واقعی ۰٫۲۵ نسل. بی‌نهایت حلقه هم نمی‌زنن، چون بودجهٔ محاسباتی محدوده و هیچ متن انسانی‌ای به زبان بردار وجود نداره که مدل باهاش آموزش ببینه.
جمع‌بندی مقاله سه پله‌ست: مدل کم‌لایه اصلاً نمی‌تونه بدون نوشتن روی chain-of-thought نقشه بکشه؛ مدل حلقه‌دار می‌تونه توی یک forward pass نقشه بکشه؛ و نورالیز واقعی، که هنوز کسی نساخته، اصلاً به دفترچه احتیاجی نداره. Astra یک قدم توی پلهٔ دومه.
نویسنده به نقل از لینچوان ژانگ می‌گه مشکل اصلی فنی نیست، روانیه: تابوی مبهم دووم نمی‌آره. مثل تابوی استفاده از بمب اتم که با یک بمب خیلی کوچیک هم ترک برمی‌داره. راه‌حل اینه که شرکت‌ها دقیقاً تعریف کنن خط قرمز کجاست.
نکات کلیدی:
- پاچوکی: عمق محاسباتی Astra حداکثر دو برابر GPT-4، نه بیشتر
- تخمین مقاله: دو برابر کردن لایهٔ واقعی ۰٫۲۵ نسل جلو می‌بره، لایهٔ شبیه‌سازی‌شده فقط ۰٫۰۳ نسل
- عمق واقعی مدل‌ها سالی حدود ۲۰٪ رشد می‌کنه، ولی لایهٔ شبیه‌سازی‌شده رو صدتا صدتا میشه اضافه کرد
- معماری COCONUT همین کار بدون chain-of-thought رو انجام می‌ده، ولی کیفیتش خوب نیست
- سه پیشنهاد مقاله: تابو روی هر نوع حلقه‌زدن، سقف مشخص مثلاً ۱۰۰۰ لایه، یا تعریف دقیق اجزای نورالیز واقعی
