هوش مصنوعی حالا خطاهای مقاله‌های ریاضی رو پیدا می‌کنه
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
تو این مقاله اومده که مدل‌های هوش مصنوعی کم‌کم دارن غلط‌های آزمون‌ها و مقاله‌های ریاضی آدم‌ها رو پیدا می‌کنن، نه فقط مسئله‌ها رو حل کنن. به قول نویسنده، هوش مصنوعی دیگه فقط امتحان نمی‌ده، داره تصحیح هم می‌کنه.
Frontier Math بنچمارکیه که Epoch AI اواخر ۲۰۲۴ با کمک ریاضی‌دان‌های حرفه‌ای ساخت. بنچمارک یعنی یه آزمون استاندارد برای سنجیدن مدل‌ها. مسئله‌هاش طوری طراحی شده بودن که متخصص‌ها ساعت‌ها یا روزها روشون وقت بذارن و موقع انتشار، بهترین مدل‌ها کمتر از ۲ درصدش رو حل می‌کردن. تا ماه مه، یه بررسی با کمک هوش مصنوعی تو حدود یک‌سوم مسئله‌ها خطای جدی پیدا کرد و Epoch AI گفت بیشترشون واقعاً درستن. یعنی نمرهٔ همهٔ مدل‌ها روی این بنچمارک احتمالاً از اول کج بوده.
یه تیم به رهبری Jasper Dekoninck و Martin Vechev هم با GPT-5.1 Codex نزدیک ۸۰۰ مقالهٔ ریاضی رو بررسی کرد. روششون ساده‌ست: اگه یه مقاله بگه چیزی همیشه درسته، فقط یه counterexample کافیه تا ردش کنه، یعنی یه حالت خاص که ادعا توش جواب نمی‌ده. مدل ادعاهای اصلی هر مقاله رو درمیاورد، دنبال حالت نقض می‌گشت و یه مثال نقض قابل‌چک تحویل می‌داد، نه فقط اینکه بگه «یه جای کار می‌لنگه».
نتیجه: تو مقاله‌های قبل از آگوست حدود ۶ درصد خطای اساسی داشتن و ۳۰ درصد خطای جزئی قابل‌اصلاح. کمی کمتر از ۹۰ درصد هشدارهای اساسی تأیید شد و کل کار حدود ۲۵۰۰ دلار هزینهٔ پردازش داشت. تو مقاله‌های جدیدتر که بیش از یک‌چهارمشون استفاده از هوش مصنوعی رو اعلام کرده بودن، خطای اساسی به حدود ۱.۵ درصد رسید. محقق‌ها ادعای رابطهٔ علّی نکردن، ولی به نظر می‌رسه هوش مصنوعی داره خطاها رو قبل از ارسال مقاله می‌گیره.
تو فیزیک هم یه بنچمارک به اسم TheoremsPhysEval با ۵۰ مسئلهٔ منتشرنشده همین الگو رو نشون داد. مدلی که تو گزارش‌ها GPT-5.1 Astra نامیده شده، با دسترسی به جستجوی مقاله و اجرای کد اول حدود ۸۸ درصد گرفت. بعد معلوم شد چندتا از جواب‌های «غلط»ش درست بودن و کلید جواب خطا داشته. با اصلاح کلید، نمره به ۴۹ از ۵۰ رسید، هرچند یه مسئله رو هیچ مدلی حل نکرد.
نویسنده تأکید می‌کنه این یعنی هوش مصنوعی از ریاضی‌دان‌ها باهوش‌تر شده نیست. حدود ۱۰ درصد هشدارهای خطای اساسی اشتباه بودن و مدل بدون ابزار ضعیف‌تر بود. ارزش اصلی اینه که هزینهٔ چک کردن حجم زیادی کار به‌شدت پایین میاد، به شرطی که خروجی قابل‌چک باشه و آدم‌ها تأییدش کنن. برای آینده هم پیشنهاد میشه بیشتر سراغ مسئله‌هایی بریم که خودکار چک می‌شن، مثل کد اجرایی یا اثبات‌های رسمی که نرم‌افزار بررسی‌شون می‌کنه.
نکات کلیدی:
- بررسی Frontier Math با کمک هوش مصنوعی تو حدود یک‌سوم مسئله‌ها خطای جدی پیدا کرد.
- GPT-5.1 Codex با حدود ۲۵۰۰ دلار نزدیک ۸۰۰ مقاله رو چک کرد: ۶ درصد خطای اساسی و ۳۰ درصد خطای جزئی.
- خطای اساسی تو مقاله‌های جدید به حدود ۱.۵ درصد رسید، ولی رابطهٔ علّی ثابت نشده.
- حدود ۱۰ درصد هشدارهای خطای اساسی مدل اشتباه بودن، پس تأیید انسانی لازمه.
- تو TheoremsPhysEval نمرهٔ مدل بعد از اصلاح کلید جواب از حدود ۸۸ به ۹۸ درصد رسید.
