پیش‌بینی‌های پیشرفت هوش مصنوعی چقدر درست بوده؟
هوش مصنوعیClaude Opus 5خلاصهٔ کامل‌تر
مؤسسهٔ Forecasting Research Institute (FRI) تو اولین پست از یه سری تازه، سراغ یه سؤال ساده رفته: پیش‌بینی‌هایی که از سال ۲۰۲۲ تا حالا دربارهٔ پیشرفت هوش مصنوعی جمع کرده، چقدر درست از آب دراومدن؟ نویسنده‌ها حدس‌های کارشناس‌های حوزه و superforecasterها (یعنی پیش‌بینی‌گرهای عمومی که سابقهٔ دقت بالایی دارن) رو تو چهار دسته بررسی کردن: توانایی مدل‌ها، پذیرش و گسترش، اثر اقتصادی و اجتماعی، و سیاست‌گذاری.
روشن‌ترین نتیجه مال بنچمارک‌هاست و جهتش هم یک‌طرفه‌ست: میانهٔ پیش‌بینی هر دو گروه خیلی از واقعیت عقب مونده. تو تورنمنت XPT سال ۲۰۲۲، سوپرفورکسترها به‌طور میانگین فقط ۹.۷ درصد احتمال به چیزی داده بودن که واقعاً اتفاق افتاد و کارشناس‌ها ۲۴.۶ درصد. مدل‌ها مدال طلای المپیاد ریاضی رو جولای ۲۰۲۵ گرفتن، ۵ سال زودتر از حدس کارشناس‌ها و ۱۰ سال زودتر از حدس سوپرفورکسترها.
این الگو تو پیش‌بینی‌های تازه‌تر هم تکرار شده. برای FrontierMath (ردهٔ ۱ تا ۳) تا پایان ۲۰۲۵، کارشناس‌ها ۳۱ و سوپرفورکسترها ۳۰ درصد زده بودن؛ نتیجهٔ واقعی ۴۰.۷ درصد شد. برای LiveCodeBench Pro در سطح سخت تا پایان ۲۰۲۶ هم عددهای ۱۴ و ۱۲ درصد داده شده بود، ولی بهترین رکورد تا می ۲۰۲۶ به ۵۳.۸ درصد رسیده بود.
تو بخش پذیرش تصویر شلوغ‌تره، ولی بازم بیشتر کم‌تخمین دیده میشه. برای بیشترین درآمد سالانهٔ یه شرکت هوش مصنوعی تا پایان ۲۰۲۶، کارشناس‌ها ۲۰ و اقتصاددان‌ها ۱۶ میلیارد دلار حدس زده بودن، در حالی که عدد واقعی تو سپتامبر ۲۰۲۶ حدود ۱۰۰ میلیارد دلاره. در عوض حدس‌هاشون دربارهٔ سهم برق مصرفی هوش مصنوعی و سرعت ساخت دیتاسنترها به واقعیت نزدیک بوده.
چند جا هم پیش‌بینی‌ها بیش از حد خوش‌بین بودن. تو یه آزمایش تصادفی‌سازی‌شده قرار بود معلوم شه چند درصد از دانشجوهای STEM با کمک LLM از پس سه کار آزمایشگاهی حساس برمیان؛ کارشناس‌های زیست‌امنیتی ۲۲.۵ درصد و ویروس‌شناس‌ها ۴۰ درصد زده بودن، ولی فقط ۵.۲ درصد موفق شدن. نویسنده‌ها خودشون هم می‌گن روش کارشون سوگیری داره: سؤالی که زودتر از موعد جواب می‌گیره زودتر هم دیده میشه، پس کم‌تخمین‌ها بیشتر به چشم میان.
نکات کلیدی:
- تو XPT سال ۲۰۲۲، سوپرفورکسترها به نتایج واقعی بنچمارک‌ها فقط ۹.۷ درصد شانس داده بودن.
- FrontierMath تا پایان ۲۰۲۵ روی ۴۰.۷ درصد بسته شد؛ پیش‌بینی کارشناس‌ها ۳۱ درصد بود.
- LiveCodeBench Pro (سخت) تا می ۲۰۲۶ به ۵۳.۸ درصد رسید؛ پیش‌بینی پایان سال ۱۴ درصد بود.
- درآمد سالانهٔ بزرگ‌ترین شرکت هوش مصنوعی به ۱۰۰ میلیارد دلار رسید؛ نزدیک پنج برابر حدس کارشناس‌ها.
- برای خودروهای خودران برعکس شد: سهمشون از سفرهای درخواستی آمریکا تا ۲۰۲۷ رو ۷.۳ درصد زده بودن، تخمین فعلی ۲.۵ درصده.
