راشکا: هایپِ ترنسفورمر حلقهای Astra بیجاست
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
راشکا تو این یادداشت میگه سروصدای دور مدل Astra و بحث «ترنسفورمر حلقهای» (looped transformer، یعنی معماریای که همون بلوک لایهها رو چند بار پشت سر هم اجرا میکنه) بیشتر از چیزیه که باید. به گفتهٔ اون کل ایده همینه: بهجای اضافه کردن لایههای جدید با وزنهای جدید، همون لایههای موجود رو دوباره از اول رد میکنی.
نمونهٔ عملیش Nanbeige4.2-3B ـه که از صفر روی ۲۸ تریلیون توکن آموزش دیده و همون استک ۲۲ لایهای رو دو بار استفاده میکنه. یعنی عملاً یه معماری ۴۴ لایهای داری بدون اینکه وزنها دو برابر بشن. حجم مدل روی دیسک و رم ثابت میمونه، ولی چون متن باید از دو برابر لایه رد بشه، هزینهٔ محاسبه هم تقریباً دو برابر میشه.
تو گزارش فنی Nanbeige 4.2 اومده که دو پاس بهترین نقطهٔ تعادل بوده و حدود ۷۵٪ از بهرهوری توکن یه معماری استاندارد رو نگه داشته؛ پاسهای بیشتر تقریباً هیچ سودی نداشتن ولی آموزش رو خیلی کندتر و گرونتر کردن. ریشهٔ ایده هم به مقالهٔ NeurIPS با عنوان Mixture-of-recursions برمیگرده که یه قدم جلوتره: یه روتر یادگرفتنی تصمیم میگیره هر توکن یک، دو یا چند پاس بگیره، پس توکنهای ساده زودتر خارج میشن و سختترها محاسبهٔ بیشتری میگیرن.
بخش دوم حرف نویسنده دربارهٔ این ادعاست که تکنیک تازه بخشی از استدلال مدل یا همون chain-of-thought رو پنهان میکنه. راشکا میگه تکرار لایهها بهخودیخود چیزی رو پنهان نمیکنه؛ فقط قبل از تولید توکن بعدی محاسبهٔ بیشتری روی حالتهای پنهان انجام میده، دقیقاً مثل لایههای معمولی. تنها تفسیر منطقی به نظر اون اینه که با پاسهای بیشتر شاید مدل به توکنهای استدلال میانی کمتری نیاز پیدا کنه، یعنی محاسبهٔ بیشتری تو فعالسازیهای پنهان میمونه که بهشکل متن خوندنی نیست. ولی همین اتفاق با بزرگتر کردن خود مدل هم میافته.
نکات کلیدی:
- ترنسفورمر حلقهای یعنی استفادهٔ دوباره از همون استک لایهها، نه یه معماری تازه
- Nanbeige4.2-3B استک ۲۲ لایهای رو دو بار اجرا میکنه و عملاً ۴۴ لایه میشه، بدون دو برابر شدن وزنها
- حجم مدل ثابت میمونه ولی هزینهٔ محاسبه تقریباً دو برابره
- دو پاس حدود ۷۵٪ بهرهوری توکن معماری استاندارد رو نگه میداره؛ پاس بیشتر عملاً سودی نداره
- Mixture-of-recursions با یه روتر یادگرفتنی عمق پردازش رو برای هر توکن جدا تعیین میکنه
