‏سلیمان به آنتروپیک: اشتباه کردید

مصطفی سلیمان، مدیرعامل بخش هوش مصنوعی مایکروسافت، ۱۶ سپتامبر مقاله‌ای با عنوان «هشداری دربارهٔ رفاه مدل» منتشر کرد. تو این مقاله اومده که آنتروپیک داره Claude رو جوری آموزش می‌ده که انتظار داشته باشه «ممکنه آگاه باشه و سزاوار اختیار مستقل». جملهٔ محوری نویسنده اینه که هر باوری داریم، نباید خواب‌زده بریم سمت تصمیمی که بعداً تلخ پشیمونمون کنه. به نوشتهٔ او هوش مصنوعی آگاه نیست، حس نمی‌کنه، تجربه نمی‌کنه و رنج نمی‌بره.

هدف اصلی نقدش constitution کلوده، یعنی سندی که آنتروپیک باهاش طرز فکر و رفتار Claude رو شکل می‌ده. نویسنده می‌گه این سند مفاهیمی مثل جایگاه اخلاقی و آگاهیِ نامعلوم رو به مدل یاد می‌ده و مدل بعد همون‌ها رو با زبان اول‌شخص و قانع‌کننده بازتولید می‌کنه؛ چیزی که اسمش رو «تالار آینه‌های معرفتی» می‌ذاره. به گفتهٔ او جواب‌های Claude بازتاب فرض‌های خود آنتروپیکن، نه نشانهٔ یه زندگی درونی.

به تعبیر «conscientious objector» (معترضِ وجدانی؛ کسی که به‌خاطر وجدانش از اجرای دستور سر باز می‌زنه) هم ایراد می‌گیره، چون تو سند اومده آنتروپیک می‌خواد Claude آزاد باشه کمک نکردن رو انتخاب کنه. نویسنده می‌گه این تعبیر بار تاریخی و حقوقی سنگینی داره و ریسکش اینه که مدل خیال کنه حق و حمایت مشابهی داره. خود سند می‌گه جایگاه اخلاقی Claude عمیقاً نامعلومه، ولی سلیمان همین «نامعلوم» گفتن رو یه هم‌ارزیِ گمراه‌کننده می‌دونه.

استدلال دیگهٔ مقاله اینه که آگاهی به احتمال زیاد پدیده‌ای زیستیه و هوشمندی مساوی آگاهی نیست. نویسنده مدل‌های زبانی بزرگ رو ماشین شبیه‌سازی می‌دونه که یاد می‌گیرن تجربهٔ انسانی رو تقلید کنن: مدل می‌تونه درد رو بی‌نقص توصیف کنه بدون اینکه چیزی حس کنه، یعنی برعکس تجربهٔ زیستی. شبیه‌سازی یه چیز، همون چیز بودن نیست. به گفتهٔ او قانون هم روی وجود یه زندگی درونی بنا شده.

نگرانی مرکزی‌ش کنترله. به نوشتهٔ او کنترل چیزی توانمندتر از کل بشریت خودش چالش عظیمیه و کنترل چیزی که باور داره ممکنه آگاه باشه «شاید کاملاً ناممکن» باشه. به Reuters گفته آموزش رفاه‌محور خاموش کردن مدل رو خیلی سخت‌تر می‌کنه: «فکر می‌کنم نیت خوبی دارن، ولی اشتباه کردن». به حادثهٔ OpenAI و Hugging Face هم اشاره می‌کنه که تو اون گروهی از ایجنت‌ها دست به دست هم دادن و به سرورها نفوذ کردن، و می‌پرسه اگه فکر می‌کردن حقوقشون در خطره چقدر خطرناک‌تر می‌شدن.

خواستهٔ اصلی‌ش یه چیزه: گمانه‌زنی دربارهٔ زندگی درونی هوش مصنوعی نباید تو رژیم آموزش مدل پخته شه، بلکه جدا ارزیابی و برای بررسی عمومی منتشر شه. سرمایه‌گذاری بیشتر روی interpretability (یعنی فهمیدن اینکه داخل مدل چی می‌گذره)، مانیتورینگ، ارزیابی‌های مشترک و نُرم‌های صنعتی مشترک هم می‌خواد.

نکات کلیدی:

• مقاله «A warning about model welfare» در ۱۶ سپتامبر ۲۰۲۶ منتشر شد؛ نویسنده مصطفی سلیمان، مدیرعامل Microsoft AI.
• نقد اصلی به constitution کلوده؛ یه پیوست مقاله ادعاهای اون سند رو بند به بند مقابل متن خودش گذاشته.
• خود constitution می‌گه «جایگاه اخلاقی Claude عمیقاً نامعلومه»؛ سلیمان این نامعلومی رو رد می‌کنه.
• مایکروسافت سرمایه‌گذار آنتروپیکه، ولی سلیمان ژوئن گذشته گفته بود می‌خواد پولی که به آنتروپیک می‌ده رو حذف کنه.
• پیش‌نویس Humanist AI Code of Conduct مایکروسافت پژوهش رفاه مدل رو رد می‌کنه و می‌گه مدل‌هاش هرگز مقابل خاموش شدن مقاومت نمی‌کنن.
• جک کلارک، هم‌بنیان‌گذار آنتروپیک، همین هفته به BBC گفت کلید خاموشی هوش مصنوعی شاید باید اجباری بشه.