‏۹۹.۹٪ آسترا مال مدل نبود، مال هارنس بود

تو گزارش ARC Prize اومده که آسترا، مدل جدید OpenAI، بسته به اینکه با چه هارنسی اجرا بشه دو تا نمرهٔ کاملاً متفاوت می‌گیره. هارنس یعنی همون لایهٔ نرم‌افزاری دور مدل که تعیین می‌کنه به چه ابزارهایی دسترسی داره، چی رو بین درخواست‌ها یادش می‌مونه و کانتکستش چطور مدیریت می‌شه. با هارنس استاندارد و بیشترین سطح استدلال ۶۲.۷٪ گرفت و ۲۶٬۰۹۸ دلار خرج برداشت؛ با Provider Adapter خود OpenAI ۹۹.۹٪ گرفت، اون هم فقط با ۱۸٬۸۱۷ دلار. نمرهٔ بهتر ارزون‌تر هم تموم شد.

یه ردیف از جدول از هر بحثی گویاتره: اگه داخل آداپتور OpenAI سطح استدلال رو روی «هیچ» بذاری، آسترا بازم ۹۶.۷٪ می‌گیره. این یعنی ۳۴ واحد بالاتر از همون مدل با حداکثر استدلال توی هارنس استاندارد؛ یعنی داربست نرم‌افزاری از خود تنظیم استدلال جلو زد. روی ۱۶۷ جفت بازی-استدلال که هر دو حل کردن، اجرای آداپتور ۴۹٪ توکن کمتر مصرف کرد و حدود ۳.۶۶ برابر سریع‌تر بود.

عددی که همه‌جا پخش شد ۹۹.۹٪ در برابر ۷.۸٪ مدل قبلی یعنی GPT-5.6 Sol بود، ولی این دوتا از یه تست نیومدن: اولی از آداپتور و دومی از هارنس استاندارد. مقایسهٔ درست می‌شه ۶۲.۷ در برابر ۷.۸ درصد که هنوز جهش خیلی بزرگیه. خود ARC Prize صراحتاً گفته ادعا نمی‌کنه این AGIه و Mike Knoop نوشته هنوز شواهدش رو ندارن. قراره از این به بعد نتیجهٔ هر دو هارنس رو کنار هم منتشر کنن.

فورچون هم متوجه شد نمره‌ها بعد از انتشار جابه‌جا شدن؛ امیلی فورلینی با مقایسهٔ نسخه‌های آرشیوشدهٔ پست OpenAI پنج معیار تغییریافته پیدا کرد. نرخ توهم آسترا از ۴.۲٪ به ۲٪ رفت و دوباره برگشت به ۴.۲٪. دو پژوهشگر استنفورد، Anka Reuel و Mike Hardy، اسم این کارو گذاشتن benchmaxxing، یعنی تکرار ارزیابی با شرایط مختلف تا وقتی عدد بهتر بشه، و می‌گن سیستم‌کارد دربارهٔ بنچمارک داخلی توهم «تقریباً هیچ جزئیاتی» نداره.

نویسنده نتیجه می‌گیره که حالا خود هارنس محصوله: Anthropic و گوگل و مایکروسافت هارنس رو با قیمت‌گذاری جدا می‌فروشن و انویدیا با یکی از اون‌ها Claude Opus 5 رو از ۳۰.۲٪ روی ARC-AGI-3 به رد کردن همهٔ مرحله‌ها رسوند. به گفتهٔ او OpenAI چیزی رو پنهون نکرده و آداپتورش از قابلیت‌های مستند API استفاده می‌کنه، ولی چیزی که ۹۹.۹٪ گرفته یه سیستم مونتاژشده‌ست و چیزی که فروخته می‌شه یه مدله.

نکات کلیدی:

• آسترا با هارنس استاندارد ARC Prize نمرهٔ ۶۲.۷٪ گرفت و با Provider Adapter خود OpenAI نمرهٔ ۹۹.۹٪
• با سطح استدلال «هیچ» داخل آداپتور نمره ۹۶.۷٪ شد، ۳۴ واحد بالاتر از حداکثر استدلال در هارنس استاندارد
• مقایسهٔ هم‌شرایط با GPT-5.6 Sol می‌شه ۶۲.۷ در برابر ۷.۸ درصد
• ARC Prize گفته این AGI نیست و از این به بعد نتیجهٔ هر دو هارنس رو منتشر می‌کنه
• Artificial Analysis به آسترا در Intelligence Index نمرهٔ ۶۱ داد، هم‌سطح مدل قبلی و پنج واحد پایین‌تر از Fable 5.1