‏گزارش METR: سرعت پیشرفت مدل‌های آنتروپیک دو برابر شده

METR یه سازمان غیرانتفاعیه که معروفه به سنجیدن اینکه agentهای AI چقدر می‌تونن بدون کمک آدم کار کنن. تیمش از ۱۲ آگوست تا ۲۹ اکتبر ۲۰۲۵ داخل آنتروپیک بوده و به نمرهٔ بنچمارک‌ها، داده‌های compute، نظرسنجی کارمندها و مصاحبه با حدود ۱۵ محقق دسترسی داشته. گزارش نهایی ۵ نوامبر منتشر شد.

عدد اصلی گزارش 1.9x هست، با بازهٔ عدم قطعیت 1.5x تا 2.8x. یعنی چی؟ یعنی مدل‌ها دو برابر بهتر نشدن، بلکه سرعت بهتر شدنشون دو برابر شده. پیشرفتی که قبلاً دو سال طول می‌کشید حالا تقریباً یه سال طول می‌کشه. METR این رو با AECI اندازه گرفته، یعنی نسخهٔ آنتروپیک از Epoch Capabilities Index که چند بنچمارک رو تو یه نمرهٔ واحد جمع می‌کنه.

قبل از اکتبر ۲۰۲۵ مدل‌های آنتروپیک سالی حدود ۱۵ امتیاز AECI بهتر می‌شدن و بعدش این عدد به حدود ۲۹ رسیده. به گفتهٔ METR، آنتروپیک تو یه سال اخیر تقریباً به اندازهٔ دو سال قبلش پیشرفت کرده؛ دوره‌ای که از Claude 2.1 تا Sonnet 4.5 رو در بر می‌گرفت.

METR می‌گه شواهد «قانع‌کننده‌ای» دیده که این شتاب از رشد compute آموزش نیست، هرچند خود شواهد سانسور شده. تخمینش اینه که حدود ۸۰ درصد شتاب از کمک AI به خود تحقیقات میاد. یعنی اهرم اصلی پیشرفت داره از پول و چیپ به سمت مفید بودن خود مدل‌ها به‌عنوان ابزار تحقیق جابه‌جا می‌شه: مدل بهتر، ساختن مدل بعدی رو سریع‌تر می‌کنه.

گزارش به مدل‌های داخلی منتشرنشده‌ای به اسم model two، three و four هم اشاره می‌کنه. model four بین سپتامبر و اکتبر ۲۰۲۵ آموزشش تموم شده و تو هر ۱۵ بنچمارک بالای ۵۰ درصد گرفته. کارمندها تو نظرسنجی‌ها گفتن بهره‌وریشون از حدود 1.2x با Claude 3.7 Sonnet به حدود 12x با model four رسیده، ولی METR این رو مدرک ضعیفی می‌دونه، چون خوداظهاریه. مصاحبه‌های دقیق‌تر بیشتر حول 2x بودن.

آیا این یعنی recursive self-improvement (یعنی چرخه‌ای که توش AI داره AI بهتر می‌سازه) شروع شده؟ METR می‌گه AI هنوز بیشتر داره به محقق‌ها کمک می‌کنه، نه اینکه مستقل تحقیق کنه. این با حرف Demis Hassabis جور درمیاد که این مرحله رو فاز اولیه و کم‌خطرتر می‌دونه، چون آدم‌ها هنوز کار رو بررسی می‌کنن. بخش‌های بزرگی از گزارش حدوداً ۱۰۰ صفحه‌ای هم سانسور شده و مردم فقط نتیجه‌گیری‌ها رو می‌بینن.

نکات کلیدی:

• شتاب پیشرفت آنتروپیک 1.9x تخمین زده شده، با بازهٔ 1.5x تا 2.8x.
• نرخ رشد AECI از حدود ۱۵ امتیاز در سال به حدود ۲۹ امتیاز رسیده.
• حدود ۸۰ درصد شتاب به کمک AI به تحقیقات نسبت داده شده و افزایش compute رد شده.
• model four تو هر ۱۵ بنچمارک METR بالای ۵۰ درصد گرفته.
• بهره‌وری خوداظهاری کارمندها از 1.2x به حدود 12x رسیده، ولی مصاحبه‌های دقیق‌تر حدود 2x نشون دادن.
• METR هیچ گلوگاه واضحی که این روند رو تو ۱۲ ماه آینده کند کنه پیدا نکرده.