وقتی هوش مصنوعی غلط‌های کلید جواب رو پیدا می‌کنه
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
تو این مقاله اومده که یه گروه از محقق‌های Harvard، UT و Google DeepMind یه بنچمارک فیزیک به اسم TheoPhysEval ساختن. بنچمارک یعنی یه آزمون استاندارد برای سنجیدن توان مدل‌ها. این آزمون ۵۰ مسئلهٔ سطح تحقیقاتیِ منتشرنشده داره که حل هرکدوم ممکنه یه روز کامل وقت یه متخصص رو بگیره. منتشرنشده بودن مسئله‌ها عمدی بوده تا مدل نتونه جواب‌ها رو از داده‌های آموزشیش حفظ کرده باشه.
یه مدل پیشرفته اول تو چند سؤال رد شد. ولی وقتی محقق‌ها با فیزیک‌دان‌هایی که مسئله‌ها رو نوشته بودن چک کردن، دیدن جواب‌های رسمی خطاهای ریزی دارن، مثل یه علامت برعکس یا یه جملهٔ جاافتاده. بعد از اصلاح کلید، نمرهٔ مدل رسید به ۴۹ از ۵۰ (۹۸ درصد). یعنی هر مدل دیگه‌ای هم که قبلاً جواب درست داده بود، غلط حساب شده. البته مدل هنوز بدون ابزار تو بعضی مسئله‌ها ضعیف بود و یه مسئله رو هیچ مدلی حل نکرد.
تو ریاضی هم همین اتفاق افتاده. Frontier Math بنچمارکیه که Epoch AI با ریاضی‌دان‌های حرفه‌ای ساخته و موقع انتشار در اواخر ۲۰۲۴ بهترین مدل‌ها کمتر از ۲ درصدش رو حل می‌کردن. کمتر از دو سال بعد، یه بررسی با کمک هوش مصنوعی تو حدود یک‌سوم مسئله‌هاش خطای جدی پیدا کرد. Noam Brown از OpenAI می‌گه بنچمارک‌های فیزیک دارن همون مسیر ریاضی رو می‌رن.
یه تیم به رهبری Jasper De Coninck و Martin Vechev هم با یه مدل GPT نزدیک ۸۰۰ مقالهٔ ریاضی رو گشتن و دنبال counterexample بودن، یعنی یه حالت خاص که ادعای اصلی مقاله رو رد می‌کنه. هزینه حدود ۲۵۰۰ دلار شد. تو مقاله‌های قبل از آگوست، حدود ۶ درصد خطای اساسی و ۳۰ درصد خطای جزئی داشتن و نزدیک ۹۰ درصد هشدارهای اساسی تأیید شد. تو مقاله‌های جدیدتر که بیش از یک‌چهارم نویسنده‌هاشون از هوش مصنوعی استفاده کرده بودن، این عدد به ۱.۵ درصد رسید، هرچند محقق‌ها ادعای رابطهٔ علّی نکردن.
نمونه‌های فردی هم هست. Gabriele Carcassi، فیزیک‌دان دانشگاه میشیگان، یه حدس دربارهٔ فضاهای محدب توپولوژیک داشت که یه سال روش گیر بود. مدل تو دو دقیقه با تکنیکی به اسم tube lemma حلش کرد. خودش می‌گه هوش مصنوعی نابغه نیست و باید همه‌چیزشو چک کنی، ولی «همه‌چیزو بلده». OpenAI هم گزارش داده یه مدلش با حدود ۶۴ پردازش موازی، کمتر از یه ساعت برای حدس cycle double cover که حدود ۵۰ سال باز بود اثبات پیدا کرده. ولی وقتی یه دسته مقالهٔ ریاضی تولیدشده با هوش مصنوعی منتشر کرد، چندتاش به‌خاطر خطا پس گرفته شد.
به گفتهٔ نویسنده، مشکل اصلی حالا سنجشه: اگه کلید جواب خودش غلط باشه، همهٔ نمره‌ها زیر سؤال می‌رن. یه راه پیشنهادی اینه که بیشتر سراغ مسئله‌هایی بریم که خودکار چک می‌شن، مثل کدی که یا درست اجرا میشه یا نه، یا اثبات‌های رسمی که نرم‌افزار قدم‌به‌قدم بررسی‌شون می‌کنه. ولی این فقط برای مسئله‌هایی جواب می‌ده که بشه کامل رسمی‌شون کرد.
نکات کلیدی:
- TheoPhysEval شامل ۵۰ مسئلهٔ منتشرنشدهٔ فیزیک نظریه و نمرهٔ مدل بعد از اصلاح کلید به ۴۹ از ۵۰ رسید.
- بررسی Frontier Math با کمک هوش مصنوعی تو حدود یک‌سوم مسئله‌ها خطای جدی پیدا کرد.
- بررسی حدود ۸۰۰ مقالهٔ ریاضی با هزینهٔ حدود ۲۵۰۰ دلار، ۶ درصد خطای اساسی پیدا کرد که تو مقاله‌های جدید به ۱.۵ درصد رسید.
- حدس cycle double cover که حدود ۵۰ سال باز بود با حدود ۶۴ پردازش موازی در کمتر از یه ساعت اثبات شد.
- راه پیشنهادی برای سنجش، مسئله‌هایی با جواب قابل چک خودکاره، مثل کد اجرایی یا اثبات رسمی.
