گزارش METR: هوش مصنوعی سرعت تحقیقات Anthropic رو دو برابر کرده
خلاصهٔ کاملتر
گروه ارزیابی METR یه گزارش مفصل منتشر کرده دربارهٔ اینکه هوش مصنوعی چقدر داره تحقیق و توسعهٔ خود هوش مصنوعی رو تو Anthropic سریعتر میکنه. Zvi Mowshowitz تو این مقاله اون گزارش رو بررسی کرده. سؤال اصلی اینه که چقدر به RSI (یعنی recursive self-improvement، وقتی هوش مصنوعی خودش نسخهٔ بهتر خودش رو میسازه) نزدیکیم. جواب METR اینه که الان حدوداً یه شتاب دوبرابری داریم.
طبق گزارش، از اکتبر ۲۰۲۵ به این طرف امتیاز مدلهای Anthropic روی AECI (نسخهٔ داخلی Anthropic از Epoch Capabilities Index، یه شاخص ترکیبی از بنچمارکها) با سرعت ۱.۹ برابرِ قبل بالا رفته، با بازهٔ اطمینان ۱.۵ تا ۲.۸. یعنی Anthropic تو یه سال حدود دو سال پیشرفت تاریخی داشته. METR مطمئنه که این شتاب از زیاد شدن compute آموزش نیومده و حدس میزنه حدود ۸۰ درصدش کار خود هوش مصنوعیه، البته بیشتر به شکل کمک به محققها و نه کار کاملاً خودکار.
یه نکتهٔ مهم اینه که Anthropic اجازه داده METR به دادههای خیلی حساس دسترسی داشته باشه: بنچمارکهای مدلهای داخلی، دادهٔ pretraining و RL، نظرسنجیهای داخلی، تعداد pull requestها و حدود ۱۵ مصاحبه با کارمندای کلیدی. ولی در عوض حق سانسور داشته و اکثر مهمترین شواهد رو از نسخهٔ عمومی حذف کرده. خود METR میگه به خاطر همین، مردم مجبورن بیشتر از حد معمول به قضاوت اونا اعتماد کنن.
چند نفر به این نتیجه نقد دارن. Toby Ord میگه اگه جهش یکبارهٔ مدل Mythos رو جدا حساب کنی، شتاب به حدود ۱.۴ برابر کم میشه. اگه مدلهای غیر Anthropic هم وارد حساب بشن، باز عدد به ۱.۴ میرسه. Buck Shlegeris جواب داده که METR این فرضیه رو بررسی کرده و به دلایلی که سانسور شده ردش کرده. نویسنده هم معتقده نمیشه جهشها رو از آینده حذف کرد، چون جهشهای مشابه احتمالاً باز هم پیش میان.
نویسنده میگه خودش از این نتیجه تعجب نکرده و قبلاً هم انتظارش رو داشته. به گفتهٔ اون، اگه فقط مدلهای عمومی رو ببینی ممکنه شتاب رو نبینی، ولی با مدلهای داخلی (که زودتر از انتشار عمومی دست کارمندا میرسن) تصویر عوض میشه. Benjamin Todd هم با ادامه دادن روند دادهها پیشبینی کرده Claude تا اواسط ۲۰۲۷ تحقیقات داخلی رو رهبری کنه. نویسنده نگرانه که اگه اینقدر سریع پیش بره، احتمالاً عاقبت خوبی نداره.
نکات کلیدی:
- شتاب پیشرفت Anthropic حدود ۲ برابرِ دورهٔ مارس ۲۰۲۴ تا اکتبر ۲۰۲۵ برآورد شده (بازهٔ ۱.۳ تا ۳ برابر).
- رشد AECI از اکتبر ۲۰۲۵ حدود ۱.۹ برابر بوده، با بازهٔ اطمینان ۹۵ درصدی ۱.۵ تا ۲.۸.
- METR حدس میزنه حدود ۸۰ درصد شتاب فعلی کار خود هوش مصنوعیه، نه افزایش compute.
- گزارش کامل حدود ۱۰۰ صفحه بوده و Anthropic بیشتر شواهد مهمش رو سانسور کرده.
- منتقدها با حذف جهش Mythos یا اضافه کردن مدلهای رقیب به عدد ۱.۴ برابر میرسن.
- هیچ مانع جدیای برای ۱۲ ماه آینده تو compute، داده یا الگوریتم دیده نشده.




