‏۴۴٪ روی ARC-AGI با ۶۷ سنت

یه پژوهشگر مستقل نوشته که با یک ترنسفورمر کوچک و از صفر، بعد از ۱.۵ ساعت آموزش روی یک کارت RTX 5090، تو بنچمارک ARC-AGI به ۴۴ درصد رسیده؛ یعنی هم‌ردهٔ مدل‌های TRM و HRM و بالاتر از خیلی از LLMها. روی ARC-2 هم ۷ درصد گرفته. کل هزینهٔ عمر مدل، یعنی آموزش از ابتدا به علاوهٔ اجرای همهٔ تسک‌ها، ۶۷ سنت بوده و کدش هم متن‌باز منتشر شده. این سومین پست از یه سری کاره و نسخهٔ قبلیش تو X سروصدای زیادی کرد.

روش کار اینه: هر جفت ورودی و خروجی به یه دنبالهٔ توکن تبدیل می‌شه و ترنسفورمر به شکل autoregressive روش آموزش می‌بینه، اون هم درست موقع تست و از صفر، روی پازل‌های آموزش و ارزیابی با هم (جواب‌های تست پنهون می‌مونن). برای اینکه مدل بین تسک‌ها یاد بگیره، هر پازل یه embedding جداگانه و آموخته‌شده می‌گیره، و چون هر دنباله دو تا گرید دوبعدی داره، موقعیت با 3D RoPE کدگذاری می‌شه. داده‌ها با جایگشت رنگ و تقارن‌های هندسی زیاد می‌شن و موقع استنتاج، دو خروجی پرتکرار ثبت می‌شن.

به گفتهٔ نویسنده، بیشترین رشد امتیاز از مدرن کردن معماری اومده: SwiGLU جای GELU، RMSNorm جای LayerNorm و ۸ لایه به جای ۴ لایه. کاهش هزینه هم از سه جا اومده: خیلی کمتر کردن augmentation، جایگزینی AdamW با NorMuon، و flash attention با آموزش varlen کنار کرنل‌های flex attention. تسک‌های غیرتکراری ARC-2 هم به دادهٔ آموزش اضافه شدن، با فیلتر دستی ۷۷۳ پازل تکراری تا نشتی داده پیش نیاد. بدون این دادهٔ اضافه هم امتیاز حدود ۴۰ درصد می‌مونه، ولی حدود دو برابر محاسبات می‌خواد.

جالب‌ترین بخش یه تغییر کوچیکه: نویسنده دیگه روی توکن‌های ورودی آموزش نمی‌ده و تابع هزینه فقط توکن‌های خروجی رو می‌بینه. همین امتیاز رو از ۴۰ به ۴۴ درصد برده، در حالی که loss روی دادهٔ تست بدتر شده. خودش می‌گه دلیلشو نمی‌دونه و حدس می‌زنه به ظرفیت محدود مدل ربط داره. نکته اینه که خیلی‌ها امروز sample efficiency (یعنی یادگیری با دادهٔ کم) رو با «کمترین val loss» اندازه می‌گیرن، و این نتیجه نشون می‌ده اون معیار می‌تونه گمراه‌کننده باشه. NorMuon هم مشکل سرگردون شدن loss ته آموزش رو حل کرده.

ابلیشن‌ها (یعنی حذف تک‌تک اجزا برای دیدن سهم هرکدوم) می‌گن بیشترین سهم امتیاز مال نمایش داده‌ست، نه معماری: عوض کردن 3D RoPE با نسخهٔ یک‌بعدی امتیاز رو به حدود ۲۴ درصد می‌آره، و برداشتن embedding مخصوص هر تسک هم همون‌قدر. اجرای مدل به سبک CompressARC، یعنی آموزش جدا برای هر تسک، تا حدود ۱۸ درصد پایین می‌آد. نویسنده نتیجه می‌گیره که بازگشتی بودن (چیزی که HRM و TRM روش تأکید دارن) برای این امتیاز لازم نیست.

به TRM هم انتقاد داره که خودشو مدل ۷ میلیونی معرفی کرده، در حالی که بیش از ۱۰۰ میلیون وزن embedding هم آموزش دیده. دعوتش از بقیه اینه که به ۶۵ درصد برسن و می‌گه راه دوری نیست: اجتماع تسک‌های حل‌شده تو چند اجرای مختلف همین حالا ۵۵ درصد می‌شه. پیشنهادهاش هم مشخصه؛ امتحان کردن PoPE به جای RoPE چون RoPE اطلاعات موقعیت و محتوا رو قاطی می‌کنه، باز هم مدرن‌تر کردن معماری، نوشتن کرنل دستی GPU برای حدود ۱۰ برابر ارزون‌تر شدن، و پیدا کردن راهی برای حذف کامل augmentation بدون بالا رفتن هزینهٔ آموزش.

نکات کلیدی:

• ۴۴ درصد روی ARC-AGI-1 و ۷ درصد روی ARC-2، با ۱.۵ ساعت آموزش روی یک RTX 5090
• کل هزینهٔ عمر مدل (آموزش از صفر به علاوهٔ استنتاج همهٔ تسک‌ها) ۶۷ سنت اعلام شده
• حذف توکن‌های ورودی از تابع هزینه امتیاز رو از ۴۰ به ۴۴ درصد برد، با اینکه test loss بدتر شد
• تو ابلیشن‌ها، تبدیل 3D RoPE به حالت یک‌بعدی یا حذف embedding هر تسک، هر دو امتیاز رو به حدود ۲۴ درصد می‌رسونن
• نویسنده می‌گه ساختار بازگشتی HRM و TRM برای رسیدن به این امتیاز لازم نبوده