Anthropic آمار داخلی توسعهٔ AI رو داد بیرون
هوش مصنوعیخلاصهٔ کاملتر
Anthropic تو این پست سه تا ابزار اندازهگیری رو معرفی میکنه که به گفتهٔ خودشون قراره شکاف بین چیزی که آزمایشگاههای مرزی میدونن و چیزی که مردم میدونن رو کم کنه: اینکه چقدر از ساختن نسخهٔ بعدی مدل رو خود AI انجام میده، چقدر میشه روی کار ایجنتها نظارت و دخالت کرد، و محاسبات کجا خرج میشه. تیم میگه قراره ارزیابهای مستقل بیرونی هم داخل شرکت مستقر بشن و همین عددها رو راستیآزمایی کنن.
برای شاخص اول یه «شاخص خودکارسازی» ساختن. مقیاسش از Epoch AI گرفته شده و از AL0 (بدون دخالت AI) تا AL5 (کاملاً خودمختار) میره؛ تو AL3 هوش مصنوعی «همکاری» میکنه و تو AL4 «رهبری» میکنه، یعنی کار رو از یه دستور کلی تا آخر خودش میبره جلو و آدم فقط نظارت میکنه. تا آگوست ۲۰۲۶ کلود تو هیچ بخشی کاملاً خودمختار نیست، ۲۶٪ کار رو رهبری میکنه و بیش از ۹۰٪ کارها دستکم تو سطح «همکاری» قرار دارن.
روش کار جالبه: از ۲۰٪ کارکنان بخشهای درگیر نمونه گرفتن و یه ایجنت هفتهٔ کاری هر نفر رو از Slack و مستندات داخلی خونده تا لیستی از حدود ۱۵ هزار تسک دربیاد. بعد اینا تو یه درخت با ۵۴۲ گره (۳۷۸ برگ) مرتب شدن و یه مدل داور به هر گره سطح خودکارسازی داده. برای اعتبارسنجی، توافق دقیق مدل داور با کارشناسهای انسانی ۵۹٪ بوده، در حالی که خود آدمها فقط ۳۵٪ با هم توافق دقیق داشتن؛ تو ۹۷٪ موارد هم اختلاف حداکثر یه سطح بوده.
شاخص دوم نظارت بر ایجنتهاست. تو پرکاربردترین پلتفرم داخلی، هر لحظه حدود ۳۰ هزار ایجنت مشغول کار تحقیقاتی و مهندسیان. مانیتورهای آنلاین ۱۰۰٪ اقدامها رو قبل از اجرا چک میکنن و کارهای خطرناک و برگشتناپذیر (مثل بیرون بردن وزنهای مدل) رو میبندن؛ از بیش از یک میلیارد تصمیم تو آگوست ۲۰۲۶، فقط ۰.۰۰۲٪ یا حدود یکی از هر ۴۷ هزار تا بلاک شده. مانیتورهای آفلاین هم بعد از اجرا همه چیز رو میخونن و هفتهای حدود ۱۰۰ هزار ترنسکریپت رو علامت میزنن که آخرش حدود ۵۰ موردش به آدم میرسه.
شاخص سوم تخصیص محاسباته. تو یه نمونهٔ یکهفتهای (۱۳ تا ۲۰ جولای)، حدود ۶٪ از محاسباتی که صرف تحقیق و توسعه شده به کار ایمنی رفته، و این رقم برای تحقیق و توسعهای که خودش با AI انجام میشه حدود ۱۲٪ بوده. خود تیم تأکید میکنه این عددها عمداً محافظهکارانهان: کاری که به یه اندازه به ایمنی و توانمندی کمک میکرده، اصلاً تو سهم ایمنی حساب نشده.
نویسندهها محدودیتها رو هم رک مینویسن. سهم محاسبات فقط میگه چقدر خرج شده، نه چقدر کار انجام شده؛ یه کلسیفایر ایمنی کارآمدتر سهم ایمنی رو پایین میآره بدون اینکه کار کمتر شده باشه. سبد تسکها هم فریز شده و یه هفته داده برای نشون دادن روند کافی نیست. حرف اصلی پست اینه که هر توسعهدهندهٔ مرزی همین سه تا رو میتونه همین امروز منتشر کنه، البته با یه روششناسی مشترک و راستیآزمایی شخص ثالث.
نکات کلیدی:
- تا آگوست ۲۰۲۶ کلود ۲۶٪ از کار تحقیق و توسعهٔ Anthropic رو «رهبری» میکنه و هیچ بخشی به سطح کاملاً خودمختار (AL5) نرسیده.
- بیش از ۹۰٪ کار تحقیق و توسعه دستکم تو سطح «AI همکاری میکنه» قرار داره.
- حدود ۳۰ هزار ایجنت همزمان روی پلتفرم داخلی کار میکنن؛ از بیش از یک میلیارد تصمیم، ۰.۰۰۲٪ بلاک شده.
- مانیتور آفلاین هفتهای حدود ۱۰۰ هزار ترنسکریپت رو فلگ میکنه و حدود ۵۰ مورد به بررسی انسانی میرسه.
- تو نمونهٔ ۱۳ تا ۲۰ جولای، ۶٪ محاسبات R&D و ۱۲٪ محاسبات R&D مبتنی بر AI صرف ایمنی شده.
- شاخص خودکارسازی از مقیاس AL0 تا AL5 ساختهٔ Epoch AI استفاده میکنه و روی درختی با ۵۴۲ گره بنا شده.
