GPT-6 Astra اشتباه‌های کلید جواب یه بنچمارک فیزیک رو پیدا کرد
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
تو این مقاله اومده که یه گروه از محقق‌های Harvard، دانشگاه تگزاس، Google DeepMind و چند مؤسسه تحقیقاتی هندی یه بنچمارک به اسم TheoPhysEval ساختن. این بنچمارک ۵۰ مسئله فیزیک نظری در سطح تحقیقاتی داره که هیچ‌کدوم جایی منتشر نشدن، پس مدل نمی‌تونه جوابشون رو موقع آموزش حفظ کرده باشه. حل هر مسئله برای یه متخصص درجه‌یک حدود یه روز کار می‌بره.
مدل GPT-6 Astra از OpenAI داخل محیط Codex اجرا شد و به جستجوی مقاله‌ها و نوشتن اسکریپت برای چک کردن جواب‌هاش دسترسی داشت. نمره اولش حدود ۸۸ درصد بود. ولی وقتی محقق‌ها با فیزیک‌دان‌هایی که سؤال‌ها رو طراحی کرده بودن مشورت کردن، دیدن تو چند مورد خود جواب رسمی اشتباه ریز داشته. تو همه این موارد، جواب اولیه Astra درست بود و بعد از اصلاح، نمره‌ش به ۴۹ از ۵۰ یعنی ۹۸ درصد رسید.
نویسنده می‌گه اهمیت این ماجرا از یه تست فراتر می‌ره. اگه کلید جواب غلط باشه، هر مدلی که با اون نمره گرفته ناعادلانه ارزیابی شده. یعنی نمره‌های منتشرشده روی بنچمارک‌های ایراددار ممکنه توانایی واقعی مدل‌ها رو دست‌کم گرفته باشن. البته مقاله اغراق نمی‌کنه: Astra هنوز حداقل یه مسئله رو کامل غلط جواب داد و بدون ابزارهاش ضعیف‌تر بود.
این الگو قبلاً هم دیده شده. Epoch AI تو بنچمارک ریاضی Frontier Math با یه بررسی به کمک AI فهمید حدود یک‌سوم مسئله‌ها خطای جدی دارن. یه مطالعه دیگه هم با GPT-6.1 «Soul» نزدیک ۸۰۰ مقاله ریاضی رو با روش counterexample (یعنی پیدا کردن یه مورد که ادعای مقاله توش نقض بشه) چک کرد. هزینه‌ش حدود ۲۵۰۰ دلار شد و تو حدود ۶ درصد مقاله‌های قدیمی‌تر خطای اساسی پیدا کرد. تو مقاله‌های ماه‌های اخیر این عدد به حدود ۱.۵ درصد رسید.
نمونه‌های عملی هم هست. Gabriele Carcassi، فیزیک‌دان دانشگاه میشیگان، می‌گه یه حدس ریاضی که یه سال روش گیر کرده بود رو یه مدل AI تو حدود دو دقیقه با استفاده از tube lemma حل کرد. OpenAI هم می‌گه یکی از مدل‌هاش با ۶۴ ایجنت موازی برای حدس cycle double cover (یه مسئله باز حدوداً ۵۰ ساله تو نظریه گراف) اثبات پیدا کرده. ولی وقتی یه دسته مقاله ریاضی تولیدشده با AI منتشر شد، چند تاش به خاطر خطا پس گرفته شد.
سؤال اصلی اینه که چطور مدلی رو تست کنی که شاید از طراح سؤال‌ها بهتر باشه. به گفته نویسنده، یه راه استفاده از مسئله‌هاییه که جوابشون خودکار چک میشه، مثل کدی که یا درست اجرا میشه یا نه، یا اثبات‌های رسمی که نرم‌افزار قدم‌به‌قدم بررسیشون می‌کنه. این‌جوری دیگه به کلید جواب انسانی وابسته نیستی.
نکات کلیدی:
- TheoPhysEval شامل ۵۰ مسئله منتشرنشده فیزیک نظری در سطح تحقیقاتیه.
- نمره اولیه GPT-6 Astra حدود ۸۸ درصد بود و بعد از اصلاح کلید جواب به ۹۸ درصد (۴۹ از ۵۰) رسید.
- Astra بدون دسترسی به ابزارهاش ضعیف‌تر عمل کرد.
- بررسی Epoch AI تو حدود یک‌سوم مسئله‌های Frontier Math خطای جدی پیدا کرد.
- چک کردن نزدیک ۸۰۰ مقاله ریاضی حدود ۲۵۰۰ دلار هزینه داشت و دقت تشخیص خطای اساسی کمی زیر ۹۰ درصد بود.
