‏بنچمارک‌های فیزیک ایراد داشتن، نه مدل‌های هوش مصنوعی

یه گروه پژوهشگر تو این مقاله می‌گن نمرهٔ پایین مدل‌های زبانی تو بنچمارک‌های فیزیک، بیشتر از اینکه نشون‌دهندهٔ ضعف واقعی مدل‌ها باشه، به خاطر ایراد تو خود بنچمارکه. اونا شیش تا از پرکاربردترین بنچمارک‌های فیزیک رو انتخاب کردن، از جمله HLE-Physics و CMT-Benchmark (دوتا مجموعه سوال سخت فیزیک که برای سنجش استدلال علمی مدل‌ها ساخته شدن) و CritPt.

برای هر زیرشاخهٔ فیزیک، استادا و دانشجوهای دکترا با تخصص همون حوزه، متن سوال، راه‌حل مرجع و جواب مدل رو دستی و با دقت بررسی کردن. هدف این بود که خطای واقعی مدل رو از خطای داور، راه‌حل مرجع غلط، یا سوالی که خودش مبهم و ناقصه، جدا کنن. نتیجه اینه که بیشتر جواب‌هایی که اول «غلط» علامت خورده بودن، اصلاً تقصیر مدل نبوده.

بعد از اینکه متخصصا راه‌حل‌های اشتباه رو درست کردن و سوال‌های خراب رو یا اصلاح کردن یا حذف کردن، نمرهٔ GPT-5.6-Sol روی HLE-Physics از ۴۷.۳ به ۷۸.۷ درصد رسید، و روی CMT-Benchmark از ۶۱ به ۸۷.۲ درصد. روی ۵۴ تا سوال باقی‌موندهٔ CritPt هم این مدل به نمرهٔ ۹۴.۴ درصد رسید. بنچمارک‌های UGPhysics، PRISM-Physics و PHYBench هم بعد از این اصلاح، نمرهٔ به‌مراتب بالاتری نشون دادن.

نویسنده‌ها نتیجه می‌گیرن که مدل‌های فرانتیر (پیشرفته‌ترین مدل‌های موجود) تو حل مسئله‌های خوب‌طراحی‌شدهٔ فیزیک، خیلی بهتر از چیزی هستن که بنچمارک‌های فعلی نشون می‌دن، و چون این بنچمارک‌ها دارن به سقف نمره نزدیک می‌شن، برای سنجش واقعی توانایی مدل‌ها به آزمون‌های سخت‌تر و تاییدشده توسط متخصص نیاز داریم.

نکات کلیدی:

• نمرهٔ GPT-5.6-Sol روی HLE-Physics بعد از اصلاح از ۴۷.۳٪ به ۷۸.۷٪ رسید
• نمرهٔ همین مدل روی CMT-Benchmark از ۶۱٪ به ۸۷.۲٪ رسید
• روی ۵۴ سوال باقی‌موندهٔ CritPt، نمرهٔ pass@4 مدل به ۹۴.۴٪ رسید
• بیشتر خطاهای «مدل» در واقع خطای داور یا راه‌حل مرجع اشتباه بوده، نه ضعف استدلال مدل
• شیش بنچمارک بررسی شدن: HLE-Physics، CMT-Benchmark، CritPt، UGPhysics، PRISM-Physics و PHYBench