‏بنچمارک‌های GPT-6 Astra زیر ذره‌بین

به گفتهٔ این مقاله، GPT-6 Astra که سپتامبر عرضه شد، تو ARC-AGI-3 نمرهٔ ۹۹.۹ درصد (بعضی رسانه‌ها ۹۸.۶ درصد نوشتن)، تو Frontier Math Tier 4 نمرهٔ ۹۷.۶ درصد و تو DeepSWE حدود ۷۳ تا ۷۴ درصد گرفته. صد درصد Exploit Bench و ۶۴.۶ درصد Terminal Bench Science هم به اسمشه. این عددها Astra رو تو بیشتر لیدربوردهای عمومی می‌برن بالا، ولی روایت «بهترین مدل تو همه‌چیز» با یه جای کار جور درنمیاد.

اون جای کار DeepSWEه، بنچمارکی که خیلی از مهندس‌ها نزدیک‌ترین چیز به حس کار واقعی می‌دوننش. Gemini 3 Flash حدود ۷۳.۷ تا ۷۴ درصد گرفته یعنی عملاً هم‌سطح Astra، و Muse Spark 1.3 از متا با ۷۵.۴ درصد تو بعضی رتبه‌بندی‌ها ازش جلو زده. نویسنده می‌گه این یعنی برتری Astra تو کدنویسی خام قطعی نیست، هرچند نسبت به Claude Fable 5.1 که حدود ۶۷ درصد گرفته جلوتره.

جایی که فاصله واقعاً معنادار می‌شه ریاضی و فضاست: ۹۷.۶ درصد در برابر ۸۷.۸ درصد Fable 5.1 تو Frontier Math Tier 4، و بیش از ۱۰ امتیاز جلوتر تو Bench CAD که ساخت اشیای سه‌بعدی رو می‌سنجه. تست‌کننده‌ها هم گفتن مدل تو استدلال فضایی و ساختن دارایی‌های سه‌بعدی غیرعادی قویه. هزینه هم نقطه‌ضعف Fable 5.1 بوده؛ یه سازنده گفته یه تسک ۴۰ درصد سهمیهٔ هفتگیش رو خورده.

دربارهٔ همون ۹۹.۹ درصد ARC-AGI-3 یه نکته هست: این بنچمارک مدل رو بدون هیچ توضیحی وسط یه کار تعاملی ناآشنا می‌ندازه و می‌سنجه چقدر سریع قانون‌ها رو با آزمون و خطا یاد می‌گیره. GPT-5.6 اینجا فقط ۷.۸ درصد و Claude Opus 5 نمرهٔ ۳۰.۲ درصد گرفته بودن و میانگین آدم‌ها ۴۸ درصده. ولی Astra این تست رو با کمک هارنس response API خود OpenAI داده، پس مقایسهٔ مستقیمش با بقیه لنگ می‌زنه.

نویسنده آخرش به یه تناقض جالب اشاره می‌کنه: Artificial Analysis که چند بنچمارک رو با وزن‌دهی یه‌کاسه می‌کنه، Astra رو فقط پنجم و تقریباً مساوی GPT-5.6 گذاشته، در حالی که خود تست‌کننده‌ها می‌گن تو عمل جهش بزرگی حس می‌شه، مخصوصاً تو ساخت دنیای سه‌بعدی و کارهای طولانی مرورگر. یه دادهٔ ایمنی هم هست: تو ارزیابی خصمانه، Astra صفر درصد کار غیرمجاز انجام داده در برابر ۴۸.۲ درصد GPT-5.6.

نکات کلیدی:

• ARC-AGI-3: از ۷.۸٪ در GPT-5.6 به حدود ۹۹٪ در Astra، در برابر میانگین انسانی ۴۸٪
• DeepSWE: حدود ۷۳ تا ۷۴٪، پشت Muse Spark 1.3 با ۷۵.۴٪ و هم‌سطح Gemini 3 Flash
• Frontier Math Tier 4: ۹۷.۶٪ در برابر ۸۷.۸٪ برای Claude Fable 5.1
• قیمت ۱۰ و ۵۰ دلار به ازای هر میلیون توکن، با حالت سریع ۲.۵ برابر سرعت به قیمت ۲ برابر
• ارزیابی خصمانه: ۰٪ انجام کار غیرمجاز در برابر ۴۸.۲٪ برای GPT-5.6