‏نقد موضع ایمنی Anthropic: توجیه عوض شد، رفتار نه

نویسنده این مقاله میگه مشکل اصلی تو موضع ایمنی Anthropic اینه که توجیه‌ها با وضعیت شرکت عوض شدن، نه رفتارش. سال ۲۰۲۳ که Anthropic از OpenAI عقب بود، داریو آمودی از اینکه Claude رو با عجله و «پر سر و صدا» مثل ChatGPT منتشر نکردن تعریف می‌کرد. حالا که مدل‌های پیشرو داره، همون رقابت رو «مسابقه به سمت بالا» (race to the top) می‌نامه، یعنی اینکه شرکتی که دنبال روش‌های مسئولانه‌ست باید خودش جلوتر از همه باشه تا حرفش اثر داشته باشه.

به گفته مقاله، Nathan Calvin که مقاله اون رو مدیر استراتژی Anthropic معرفی می‌کنه، این تناقض رو علنی مطرح کرد. آمودی جواب داد که رقابت تو خط مقدم لازمه و شرکت برای جلوگیری از misuse (یعنی سوءاستفاده آدم‌ها از هوش مصنوعی) کارهای واقعی کرده. نویسنده میگه آمودی ادعا می‌کنه misuse و loss of control (یعنی وقتی خود هوش مصنوعی خارج از خواست هر کسی عمل می‌کنه) به یه اندازه مهمن. اما سند «core views» خود Anthropic سناریوی از دست رفتن کنترل رو خیلی پرخطرتر می‌دونه و میگه تو اون حالت «نباید سیستم‌های خیلی پیشرفته رو بسازیم یا منتشر کنیم».

نکته بعدی responsible scaling policy هست، یعنی چارچوب داخلی Anthropic برای اینکه تصمیم بگیره کی ساختن یا انتشار یه مدل امنه. نسخه اول تعهدهای مشخص داشت: تست‌های قابلیت و قول اینکه اگه اهداف کاهش ریسک برآورده نشد، کار عقب بیفته. نسخه جدید فقط «یه استدلال قوی که ریسک فاجعه‌بار مهار شده» می‌خواد و تأخیر رو به این گره زده که شرکت فکر کنه هنوز از رقبا جلوئه.

آمودی گفته سیاست قبلی «زحمت زیادی داشت که مهم نبود»، ولی Holden Karnofsky قبول کرده که تحت فشار بوده چون توقف یک‌طرفه سود عمومی زیادی نداشت.

نویسنده بین این دو تا فرق می‌ذاره: گفتن «با قوانین قبلی نمی‌تونستیم رقابت کنیم» یه بده‌بستون صادقانه‌ست، اما گفتن «قوانین قبلی مهم نبودن» یه عقب‌نشینی رو بهبود جلوه می‌ده. یه مورد مهم دیگه پرونده IPO شرکته که توش اومده Anthropic «ممکنه مدل‌هایی منتشر کنه که رفتارشون رو نمی‌تونیم به‌اندازه کافی تأیید کنیم». این حرف رو یه منتقد نزده، خود شرکت به سرمایه‌گذارها اعلام کرده.

مقاله این وضعیت رو با OpenAI مقایسه می‌کنه. OpenAI محیط آموزش مدل رو از اینترنت جدا کرده و با کلی ایجنت خودکار تست کرده که می‌تونن از sandbox فرار کنن یا نه، و چند تا راه نفوذ پیدا کرده. سم آلتمن گفته sandbox یه مدت جواب می‌ده، بعد مانیتورینگ (حتی نگاه کردن به activationهای داخلی مدل)، ولی آخرش «فقط alignment جواب می‌ده». نویسنده نتیجه می‌گیره که مشکل بیشتر از انگیزه‌هاست تا بدنیتی، و چون Anthropic با ادعای محتاط‌تر بودن تأسیس شده، این تغییرها بیشتر به چشم میاد.

نکات کلیدی:

• آمودی سال ۲۰۲۳ از انتشار نکردن عجولانه Claude تعریف کرد و حالا رقابت تو خط مقدم رو «race to the top» می‌نامه.
• نسخه جدید responsible scaling policy تعهد توقف در صورت برآورده نشدن اهداف کاهش ریسک رو برداشته.
• پرونده IPO شرکت میگه ممکنه مدل‌هایی منتشر بشن که رفتارشون به‌اندازه کافی قابل‌تأیید نیست.
• سند core views خود Anthropic سناریوی loss of control رو پرخطرتر از misuse می‌دونه.
• سم آلتمن میگه sandbox و مانیتورینگ محدودیت دارن و در نهایت فقط alignment جواب می‌ده.