هوش مصنوعی، بررسی مقاله‌های علمی رو ارزون کرده
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
راجر پیلکی تو این مقاله از یه جنجال تازه شروع می‌کنه: تایلر کوئن نتیجه یه بازبینی ناشناس با کمک AI رو منتشر کرد که ۱۳۸ مقاله از اقتصاددان‌ها امانوئل سز و گابریل زوکمن رو بررسی کرده بود. این گزارش ۱۴۷ مشکل جدی پیدا کرد (۵۳ نقص اساسی و ۹۴ انتخاب روشی بحث‌برانگیز) و گفت جهت کلی نتایج سر جاشه ولی خیلی از عددهای اصلی دووم نمیارن. زوکمن اسمش رو گذاشت «حمله AI»، و پیلکی هم چون کد و داده‌ش منتشر نشده، کلاً کنارش می‌ذاره.
حرف اصلی نویسنده اینه که یه مقاله علمی خوب در واقع یه prompt خیلی دقیقه: سؤال، داده، روش، فرمول‌ها و فرضیات رو گفته. اگه مقاله و داده‌ها رو به یه سیستم AI بدی، می‌تونه روش‌ها رو به کد تبدیل کنه، داده رو بیاره، نمودارها رو دوباره بسازه و عددها رو با عددهای منتشرشده مقایسه کنه. وقتی هم اختلافی پیدا بشه، میشه با AI ردش رو گرفت. البته به گفته نویسنده قضاوت متخصص انسانی هنوز جایگزین نداره.
نویسنده به یه پژوهش تازه از گری کینگ و استیون ورثینگتون از هاروارد هم اشاره می‌کنه. اونا ۱۳۴ داوری AI رو با داوری‌های قوی انسانی (که حتی پولی بودن) مقایسه کردن. یه داور AI تو همه ۱۳۴ مورد داوری AI رو ترجیح داد و سردبیرهای سابق مجله‌ها هم تو یه آزمون کور، ۲۶ از ۳۰ بار (۸۷٪) داوری AI رو انتخاب کردن. تازه داوری‌های AI ادعای غلط کمتری هم داشتن.
پیلکی خودش با Claude Code مقاله‌ای که سال ۱۹۹۹ درباره رابطه خسارت توفان‌های آمریکا و پدیده ENSO (یعنی چرخه گرم و سرد شدن آب اقیانوس آرام، همون ال‌نینو و لانینا) نوشته بود رو تکرار کرد. نتیجه برای ۱۹۲۵ تا ۱۹۹۷ تأیید شد و تو ۲۸ فصل بعدش هم برقرار موند. ولی چون داده‌ها و تعریف‌ها عوض شدن (مثلاً آستانه ±۰.۵ درجه به‌جای ±۰.۴)، چندتا سال مرزی جابه‌جا شدن.
به گفته نویسنده، مشکل همیشگی این بود که کسی برای بررسی کار بقیه اعتبار حرفه‌ای نمی‌گرفت و کار سخت و بی‌حوصله‌ای هم بود. حالا که هزینه‌ش افتاده، کلی مقاله بررسی میشه و کلی خطا پیدا میشه. سردبیرها باید برای ده‌ها یا صدها چالش جدی درباره مقاله‌های قدیمی روال مشخص داشته باشن. پیلکی پیش‌بینی می‌کنه پژوهشگرها قبل از ارسال، کار خودشون رو با AI «پیش‌تکرار» کنن.
نکات کلیدی:
- بازبینی ناشناس کارهای سز و زوکمن ۱۳۸ مقاله رو بررسی کرد و ۱۴۷ مشکل جدی گزارش داد، ولی کد و داده‌ش رو منتشر نکرد.
- تو پژوهش هاروارد، سردبیرهای سابق ۸۷٪ مواقع داوری AI رو به داوری انسانی ترجیح دادن.
- تکرار مقاله ۱۹۹۹ پیلکی با Claude Code نتایج اصلی رو برای ۷۳ سال تأیید کرد.
- پنج قانون پیشنهادی نویسنده: همه نتایج رو منتشر کن، کد و داده رو بده، همه‌چی عمومی باشه، به نویسنده اصلی فرصت جواب بده، و داوری همتا رو اختیاری بدون.
- خطای پیداشده تو یه مقاله لزوماً یعنی بی‌دقتی یا تقلب نیست، ولی خود تکرارها هم باید قابل تکرار باشن.
