‏Zvi دربارهٔ Anthropic: شرکتی که هم تحسینش می‌کنه هم ازش ناراضیه

Zvi تو این پست می‌گه Anthropic شرکت گیج‌کننده‌ایه: گاهی کارهای شجاعانه و پرهزینه برای ایمنی می‌کنه و گاهی کارهای ناامیدکننده. به گفتهٔ نویسنده، قضاوت دربارهٔ Anthropic بستگی داره به اینکه فکر کنی مشکل‌های هوش مصنوعی با اجرای خوب حل می‌شن یا خیلی سخت‌تر از اون هستن.

بخش اصلی پست دربارهٔ جواب داریو آمودی به Nathan Calvin هست. Calvin بعد از لو رفتن پیش‌نویس یه لایحهٔ فدرال از طرف Anthropic، که بخش زیادی از قانون‌های ایالتی رو کنار می‌ذاشت، پرسیده بود Anthropic اصلاً چه جور شرکتیه و کارهایی مثل قراردادهای ۵۰۰ میلیارد دلاری compute و تغییر RSP رو مثال زده بود.

داریو در جواب کارهای پرهزینه‌شون رو شمرده: حمایت از قانون SB 53، فیلترهای خیلی سخت‌گیرانه برای جلوگیری از سوءاستفادهٔ زیستی، عقب انداختن انتشار عمومی مدل‌های Mythos، نفروختن به شرکت‌های تحت کنترل چین و گذاشتن ۵٪ سهام شرکت تو یه صندوق منفعت عمومی. اون قبول کرده که لایحه و نامه به کنگره می‌تونست بهتر مدیریت بشه، ولی تغییر RSP (سیاست ایمنی داخلی Anthropic برای مدل‌های قوی‌تر) رو برای انعطاف لازم می‌دونه.

منتقدها کوتاه نیومدن. dave kasten می‌گه یه لایحهٔ ملی رو نمی‌شه «خطای ارتباطی» حساب کرد و Cody Fenwick نشون می‌ده استراتژی «race to the top» از اول حرف Anthropic نبوده. Zvi از اینکه داریو مستقیم جواب داده خوشحاله، ولی معتقده Anthropic هنوز بار ساختن recursive self-improvement (یعنی هوشی که خودش نسخهٔ بهتر خودش رو می‌سازه) رو به دوش نمی‌کشه.

Kelsey Piper هم بدون امضای NDA به یه جلسهٔ داخلی Anthropic رفته و گزارش داده که پیام اصلی شرکت اینه که recursive self-improvement داره نزدیک می‌شه. Zvi می‌گه برای سه چیز برنامه‌ای وجود نداره: alignment یه ابرهوش، جلوگیری از تمرکز قدرت یا از دست رفتن کنترل، و تصویر یه دنیای خوب با ابرهوش. Anthropic راحت‌تر می‌گه چی نمی‌خواد تا اینکه چی می‌خواد.

نویسنده از گزارش سالانهٔ Public Benefit هم انتقاد تندی کرده؛ می‌گه طوری چیده شده که خوانندهٔ سرسری فکر می‌کنه مشکل‌های فنی ایمنی حل شدن، در حالی که جملهٔ «alignment هنوز خیلی مونده تا حل بشه» با فونت ریز اومده. آخر پست هم اشاره می‌کنه که Anthropic اولین توافق ارزیاب مستقل رو با METR بسته و به تیمشون دسترسی‌ای شبیه کارمندها داده.

نکات کلیدی:

• داریو آمودی در جواب Nathan Calvin نُه کار پرهزینهٔ Anthropic برای ایمنی رو فهرست کرده.
• Anthropic اعلام کرده ۵٪ سهام شرکت رو تو یه صندوق منفعت عمومی می‌ذاره.
• داریو قبول کرده لایحهٔ لورفته و نامه به کنگره می‌تونست بهتر مدیریت بشه.
• Zvi معتقده برای alignment ابرهوش، تمرکز قدرت و شکل دنیای آینده هیچ برنامه‌ای وجود نداره.
• گزارش Public Benefit به خاطر القای حل شدن مشکل‌های ایمنی نقد شده.
• METR اولین ارزیاب مستقلیه که دسترسی شبیه کارمند به Anthropic گرفته.