میشه به LLMها برای سنجیدن نوآوری ایده‌ها اعتماد کرد؟
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
مؤسسه Ai2 یه مطالعه به اسم Old Ideas, Novel Problems منتشر کرده، به همراه بنچمارک، داده و کد. موضوعش novelty judgeـه، یعنی یه LLM که قضاوت می‌کنه یه ایده پژوهشی نسبت به کارهای قبلی تازه هست یا نه. سیستم‌هایی که خودکار ایده علمی تولید می‌کنن معمولاً همین قضاوت رو به یه مدل دیگه می‌سپرن، ولی به گفته Ai2 این داورها بیشتر روی مقاله‌های انسانی تست شدن، نه روی ایده‌های تولیدشده با AI که واقعاً قراره بسنجنشون.
برای ساختن بنچمارک، تیم سراغ داوری‌های ICLR 2026 رفت و جاهایی رو پیدا کرد که داورها صریحاً درباره نوآوری حرف زده بودن، نه فقط قبول یا رد شدن مقاله. یه دسته پرنوآوری با ۱۵۴ ایده از مقاله‌های پذیرفته‌شده توی ۱۰ درصد بالا ساختن و یه دسته کم‌نوآوری با ۱۴۵ ایده از مقاله‌های ردشده توی ۱۰ درصد پایین. بعد همون ۱۵۴ ایده انسانی رو با ۱۵۴ ایده‌ای که یه مولد ساده LLM ساخته بود جفت کردن. یه متخصص هم ۳۰ جفت رو جدا بررسی کرد و توی همه‌شون ایده انسانی رو ترجیح داد.
بزرگ‌ترین مشکل از پرامپت بود. وقتی به GPT-5.4 گفتن داورها دقیقاً یکی از دو ایده رو نوآورانه دونستن، دقتش ۹۳.۵ درصد بود. با یه پرامپت ساده‌تر که فقط می‌پرسید کدوم نوآورانه‌ست، دقت به ۴۰.۹ درصد رسید که از شانسی جواب دادن هم بدتره. همین تغییر روی ایده‌های فقط انسانی حدود هفت درصد اثر داشت، یعنی یه داور می‌تونه روی کار انسانی پایدار به نظر بیاد ولی روی ایده‌های AI کاملاً به هم بریزه. پرامپتی هم که برای همه مدل‌ها بهتر باشه پیدا نشد.
جست‌وجو و استدلال بیشتر هم جواب نداد. GPT-5.6 Sol با بودجه استدلال خیلی بالا و جست‌وجوی زنده توی arXiv به macro-F1 برابر ۰.۷۸ رسید (macro-F1 یعنی معیاری که نشون می‌ده داور ایده‌های نو و غیرنو رو چقدر خوب از هم جدا می‌کنه)، در حالی که Claude Opus 4.6 به ۰.۸۹ رسید و هزینه حالت ایجنتی حدود ۱۰ برابر بود. ابزارهای مخصوص هم بدتر بودن: یه پرامپت ساده Opus 4.6 با رأی‌گیری بین سه جواب به ۰.۸۵۴ با هزینه ۲.۵۹ دلار رسید، ولی Idea Novelty Checker به ۰.۶۴۲ با ۳۰.۶۶ دلار و AI Scientist از Sakana AI به ۰.۷۷۲ با ۸۲.۰۵ دلار.
Ai2 نتیجه می‌گیره که سنجیدن نوآوری با LLM هنوز یه مسئله باز بزرگه. پیشنهادشون اینه که داورها روی همون نوع ایده‌ای تست بشن که قراره بسنجن، حساسیت‌شون به پرامپت و مدل اندازه‌گیری بشه و بنچمارک‌ها همراه با رشد ادبیات علمی به‌روز بشن. pipeline داده‌شون هم برای ساختن مجموعه‌های جدید از داوری‌های تازه قابل استفاده‌ست.
نکات کلیدی:
- شش داور بررسی شدن: GPT-5.1، GPT-5.2، GPT-5.4، Claude Sonnet 4.5، Claude Opus 4.5 و Claude Opus 4.6
- با عوض شدن چند کلمه از پرامپت، دقت GPT-5.4 از ۹۳.۵ به ۴۰.۹ درصد افت کرد
- توی مقایسه دو مولد AI، به‌طور میانگین یک‌چهارم تا یک‌سوم حکم‌ها با تغییر پرامپت عوض شد
- پرامپت ساده Opus 4.6 با macro-F1 برابر ۰.۸۵۴ و هزینه ۲.۵۹ دلار، از ابزارهای اختصاصی دقیق‌تر و خیلی ارزون‌تر بود
- بنچمارک بر پایه داوری‌های ICLR 2026 ساخته شده و داده و کدش عمومیه
