‏علم Claude-شکل: وقتی مسئله رو به اندازهٔ هوش مصنوعی انتخاب می‌کنی

پروفسور Matthew Schwartz، فیزیک‌دان نظری، تو این پست مهمان روی سایت Anthropic می‌گه مشکل اصلی استفاده از AI تو علم یه «impedance mismatch» هست (یعنی دو سیستم که هر کدوم درست کار می‌کنن ولی به هم نمی‌خورن). به گفتهٔ اون، Claude و GPT تو علم خوبن ولی دانشمند نیستن و برای یه نتیجهٔ علمی باید کلی دستشون رو گرفت. راه‌حلش این بود که مسئله‌های «Claude-شکل» پیدا کنه: مسئله‌هایی که یه تکنیک ریاضی یا فیزیک یا کامپیوتر می‌تونه کامل حلشون کنه، فقط کسی تو اون رشته ازش خبر نداره.

کار از scattering amplitudes شروع شد (یعنی محاسباتی که داده‌های برخورددهندهٔ LHC رو به ذرات تبدیل می‌کنن). Schwartz از Claude Fable 5 خواست روش‌های پراکندهٔ semi-numerical bootstrap رو، که به Wolfram، C++، Python و Julia نوشته شده بودن، به یه فریم‌ورک مشترک ببره. Claude نتیجهٔ مقالهٔ خودش رو تو حدود ۲۰ دقیقه بازسازی کرد، کاری که برای خودش هفته‌ها طول کشیده بود. بعد سراغ انتگرال‌های بیضوی رفتن و ۳۰ انتگرال حل کردن که ۱۵ تاش قبلاً هیچ‌وقت محاسبه نشده بود.

از همین ابزارها BootLoops درومد: یه harness متن‌باز (یعنی لایه‌ای از ابزار و پروتکل دور مدل، شبیه Claude Code) که با هر مدلی کار می‌کنه. چون معادله‌های یکسان تو رشته‌های مختلف تکرار می‌شن، Claude فهمید همین انتگرال‌ها به ژنتیک جمعیت، فیلوژنتیک و اکولوژی هم می‌خورن. مثلاً معادلهٔ Etienne تو نظریهٔ تنوع زیستی خنثی رو، که ۲۰ سال کسی نتونسته بود در مقیاس بزرگ حلش کنه، حل کرد.

ولی نویسنده می‌گه وقتی کار از تخصص خودش دور شد، فهمید Claude معمولاً از نظر فنی درست می‌گه ولی نتیجه‌ش از نظر علمی چیز خاصی نیست. مثلاً متخصص اکولوژی James O'Dwyer گفت نتیجهٔ اول با «شونه بالا انداختن» اکولوژیست‌ها روبه‌رو می‌شه و پیشنهاد داد به‌جاش پیش‌بینی نظریهٔ خنثی رو کم کنن و باقی‌مونده رو بررسی کنن. تو ژنتیک هم با راهنمایی Michael Desai، ۵.۷ میلیارد جفت جهش رو تحلیل کردن و شواهدی از gene conversion پیدا کردن.

خروجی کلی ۳۶ مقاله تو ۱۸ رشته با ۱۹ همکار تو سه ماه بود، از بین حدود ۴۰۰ مسئلهٔ نامزد. از جمله یه دیتابیس تکیهٔ کلمه برای ۶۰۷۲ زبان و بررسی بستهٔ بازتولید ۴۴۵۲ مقالهٔ اقتصادی. نویسنده چند ضعف Claude رو هم می‌گه: زود اعلام پیروزی می‌کنه، حس زمان نداره، به‌جای ساختن ابزار بهتر، محاسبه‌های چندروزه رو کورکورانه جلو می‌بره و نمی‌شه به سلیقه‌ش برای انتخاب مسئلهٔ جالب اعتماد کرد.

جمع‌بندی نویسنده اینه که اگه مسئلهٔ درست رو پیدا کنی، بخش زیادی از کار فنی‌ش الان خودکار می‌شه، ولی بخش مفهومی و تشخیص اینکه چی ارزش داره هنوز کار آدم‌هاست. اون نگرانه که با این تغییر، اعتبار کار به آدم‌ها نرسه، و معتقده AI روش علمی رو عوض نمی‌کنه ولی سرعتش رو خیلی زیاد می‌کنه.

نکات کلیدی:

• BootLoops متن‌بازه، روی GitHub هست و مال خود Schwartz هست، نه Anthropic
• ۳۰ انتگرال بیضوی با bootstrap حل شد که ۱۵ تاش برای اولین بار بود
• ۳۶ مقاله تو ۱۸ رشته با ۱۹ همکار در سه ماه، از بین حدود ۴۰۰ مسئله
• تو جنگل Barro Colorado ترکیب گونه‌ها ۴.۵ برابر سریع‌تر از پیش‌بینی نظریهٔ خنثی عوض می‌شه
• بدون متخصص هر رشته، بیشتر نتیجه‌ها درست ولی کم‌ارزش بودن
• توصیهٔ نویسنده: معیار موفقیت سفت و سخت بذار، نمودارها رو خودت ببین و ادعای «توافق خوب» رو باور نکن