‏جهش Opus 5 در بنچمارک ARC-AGI-3

ARC-AGI-3 آخرین نسخهٔ بنچمارکیه که François Chollet ساخته و چیزی رو می‌سنجه که بیشتر بنچمارک‌ها نادیده می‌گیرن: برخورد با موقعیتی که مدل هرگز ندیده. به‌جای پرسیدن از دانسته‌ها، مدل رو بدون هیچ قانون، آموزش یا هدف مشخصی توی یه محیط بازی‌مانند رها می‌کنه و مدل باید خودش بفهمه چی رو کنترل می‌کنه و دنبال چی باید بگرده. تو مقاله اومده که این همون فرق هوش متبلور (چیزی که یاد گرفتی) با هوش سیاله (توان استدلال روی چیز کاملاً تازه).

تو این آزمون Claude Opus 5 نمرهٔ ۳۰.۲ درصد گرفته، در حالی که رکورد قبلی ۷.۸ درصد بود و خانوادهٔ قبلی Anthropic حدود ۲۰ درصد. مهم‌تر از خود عدد، چیزیه که تیم Arc Prize گزارش کرده: رفتاری که می‌گن تا حالا از هیچ مدل مرزی ندیده بودن. Opus 5 چیدمان پازل رو به نماد جبری صریح تبدیل می‌کرد — مثلاً موقعیت یه شیء رو به‌صورت تابعی از شیء دیگه می‌نوشت و چند صد حرکت بعد، همون ایده رو به «بازتاب حول یه محور» تعمیم می‌داد.

به گفتهٔ Arc Prize، اهمیتش اینه که مدل به‌جای گشتن کورکورانه، یه مدل ریاضی فشرده از رابطهٔ اشیا می‌سازه و بعد می‌تونه نتیجه رو پیش‌بینی و حرکت بعدی رو برنامه‌ریزی کنه. معیار این ماجرا «کارایی نمونه»‌ست: Opus 5 نه‌تنها پنج محیط حل‌نشده رو باز کرده، بلکه توی چهارتاشون به کارایی نمونهٔ انسان رسیده یا ازش جلو زده — یعنی تقریباً با همون تعداد تلاشی که یه آدم لازم داره، نه بعد از میلیون‌ها آزمون‌وخطا.

یه سوءبرداشت رایج رو هم باید صاف کرد: این دستاورد بینایی ماشین نیست؛ محیط‌های ARC-AGI-3 به شکل دادهٔ ساختاریافتهٔ متنی (شبیه JSON) به مدل داده می‌شن، نه تصویر. مقاله شک‌وتردیدها رو هم می‌آره: بعضی‌ها می‌گن تبدیل پازل به جبر یه تاکتیک یادگرفتنی و تا حدی مکانیکیه نه نشانهٔ استدلال عمومی، و گزارش‌هایی هست که همین ترفند قبلاً با scaffolding روی Opus 4.6 هم جواب داده بوده. خود Arc Prize هم این رو رفتاری تازه و قابل‌رصد خونده، نه بنچمارک حل‌شده.

نکات کلیدی:

• Opus 5 توی ARC-AGI-3 نمرهٔ ۳۰.۲ درصد گرفت؛ بهترین رکورد قبلی ۷.۸ درصد بود.
• رفتار تازه‌ای که گزارش شده: تبدیل چیدمان پازل به نماد جبری صریح قبل از حل کردنش.
• پنج محیط حل‌نشده باز شد و توی چهارتا، کارایی نمونه هم‌سطح انسان یا بهتر بود.
• ورودی این بنچمارک متنی و ساختاریافته‌ست، پس ماجرا ربطی به بینایی ماشین نداره.
• منتقدها می‌گن این تاکتیک یادگرفتنیه و Opus 5 توی همهٔ بنچمارک‌ها جلو نیست.