‏خودبهبودی AI فعلاً ۵ تا ۱۰ برابر ضعیف‌تر از لازمه

رامز نعام تو این مقاله سراغ یه سؤال مشخص می‌ره: آیا RSI (یعنی خودبهبودی بازگشتی، وقتی هر نسل از AI نسل بعدی و بهترِ خودشو می‌سازه) به یه انفجار هوش و رسیدن سریع به ابرهوش می‌رسه؟ جواب کوتاه او اینه که با داده‌های امروز، این حلقه باید حدود ۵ تا ۱۰ برابر قوی‌تر باشه تا فقط خودشو نگه داره، چه برسه به اینکه از کنترل خارج شه.

قوی‌ترین شاهدش فاصلهٔ بنچمارک با کار واقعیه. طبق گزارش خود OpenAI، مدل‌هاش روی کارهای تحقیقاتی‌ای که یه آدم زیر ۱۵ دقیقه انجام می‌ده، فقط ۸۶ درصد مواقع بدون دخالت انسان موفق بودن و افق کار مستقل‌شون حدود ۱۵ دقیقه‌ست. این در حالیه که METR افق ۸۰ درصدی رو حدود سه ساعت تخمین زده و سناریوی AI 2027 حدود ۱۱ ساعت، یعنی ۱۶ تا ۴۴ برابر بیشتر از چیزی که واقعاً داخل OpenAI اتفاق می‌افته.

نویسنده می‌گه عددهای چشمگیر لزوماً نتیجه نیستن. محقق‌های OpenAI ۱۲۴ برابر توکن بیشتر مصرف کردن و مهندس‌ها حدود ۷ برابر کد بیشتر نوشتن، ولی تعداد آزمایش هر محقق فقط ۱.۶ برابر شده. Anthropic هم تو system card مدل Mythos Preview نوشته که میانگین هندسی افزایش بهره‌وری کارکنانش حدود ۴ برابره، و برای دوبرابر کردن سرعت کل پیشرفت، این عدد باید حدود ده برابر بیشتر بشه، یعنی چیزی در حد ۴۰ برابر بهره‌وری نسبت به حالت بدون AI.

راه‌های میان‌بر هم همین وضع رو دارن. فکر کردن بیشتر یه مدل بازدهی لگاریتمی داره: هر بار دوبرابر کردن compute تقریباً همون مقدار ثابت بهبود می‌ده با دوبرابر هزینه. برای سوارم‌های ایجنتی هم تحلیل Toby Ord یه قانون سرانگشتی جذری می‌ده؛ ۱۰۰ ایجنت کار رو ۱۰ برابر سریع‌تر تموم می‌کنن ولی ۱۰ برابر گرون‌تر. مشکل بعدی اینه که ایجنت‌ها شبیه هم فکر می‌کنن؛ تو یه مطالعه، خلاقیت جمعی ده جواب اول یه مدل تقریباً هم‌اندازهٔ هشت تا ده آدم بود.

داده‌های عمومی هم شتاب‌گیری نشون نمی‌دن. شاخص ECI فرانتیر از ژانویهٔ ۲۰۲۴ حدود ۱۶ امتیاز در سال رشد کرده که خیلی سریعه، ولی شیبش صاف مونده. Anthropic هم تو system card مدل Mythos 5.1 نوشته استفادهٔ داخلی از مدل‌های جدید عامل کلیدی «حفظ» سرعت فعلی پیشرفت بوده، نه شتاب دادن بهش. نعام تأکید می‌کنه ممکنه اشتباه کنه و بیشتر از هر چیز به دادهٔ بهتر نیاز داریم.

نکات کلیدی:

• ادعای مرکزی مقاله: حلقهٔ خودبهبودی AI باید ۵ تا ۱۰ برابر قوی‌تر شه تا خودشو نگه داره
• افق کار مستقل مدل‌ها روی تحقیق داخلی OpenAI حدود ۱۵ دقیقه، در برابر ۳ ساعت METR و ۱۱ ساعت AI 2027
• مصرف توکن ۱۲۴ برابر شد، ولی تعداد آزمایش هر محقق فقط ۱.۶ برابر
• برآورد Anthropic: دوبرابر کردن سرعت پیشرفت به بهره‌وری حدوداً ۴۰ برابری نیاز داره
• رشد ECI فرانتیر حدود ۱۶ امتیاز در سال از ژانویهٔ ۲۰۲۴، بدون نشونهٔ شتاب