‏بازسازی «منشور» مدل Muse متا از روی زنجیره‌ی فکرش

نویسنده‌ی این پست تو LessWrong موقع کار با Muse Spark Open (مدل open-weights متا) دیده که مدل تو chain of thought خودش (یعنی متن استدلالی که مدل قبل از جواب نهایی می‌نویسه) مدام به سندی به اسم Charter ارجاع می‌ده. مثلاً می‌نوشت «باید طبق Charter صادقانه جواب بدیم». به گفته‌ی نویسنده، نقل مستقیم از این سند تو CoT ممنوع نیست و حتی یه خطی که مدل زیاد تکرار می‌کنه می‌گه متا قصد داره سند رو بعداً منتشر کنه.

روشش اینطوری بوده: 884 گفت‌وگو با 260 پرامپت مختلف از طریق OpenRouter گرفته، تکه‌های سند رو جمع کرده و به هر تکه بر اساس اینکه چند گفت‌وگو مستقل همونو تکرار کردن امتیاز داده. گفت‌وگوهایی که خود پرامپت‌شون اون تکه رو داشت حساب نشدن. نویسنده صریحاً هشدار می‌ده که این متن از خروجی مدل بازسازی شده، نه از یه سند لو رفته، پس باید با احتیاط خوندش. نسخه‌ی بازسازی‌شده با لینک هر بخش به گفت‌وگوی منبع، و کل داده‌ها تو یه ریپوی گیت‌هاب در دسترسه.

طبق این بازسازی، Muse یه «مصنوع فرهنگی» معرفی می‌شه که «از تمدن ساخته شده»، برخلاف Claude که قانون اساسیش اونو تجسم مأموریت Anthropic می‌دونه. سند لحن خیلی rationalist داره، یعنی با زبان احتمال و به‌روزرسانی باور حرف می‌زنه. مثلاً می‌گه Muse نباید فقط درصد اطمینانش رو بگه، باید شواهد رو هم بگه؛ چون اگه کاربر و مدل هر دو 70 درصد مطمئن باشن و شواهدشون مستقل باشه، کاربر باید اطمینانش رو به 91 درصد برسونه. برای تعامل با ایجنت‌های دیگه هم استراتژی‌های همکارانه مثل tit-for-tat توصیه شده.

اولویت‌ها هم روشنه: اول corrigibility (یعنی اجازه دادن به متا برای اصلاح و بازآموزی مدل) و بعد وظایف در برابر بشریت، که هر دو خط قرمزن. بعدش «وظایف امانی» یا fiduciary duties در برابر کاربر میاد، یعنی وفاداری، اطاعت و مراقبت مثل یه وکیل یا امین قانونی. نویسنده می‌گه این قالب حقوقی با رویکرد Anthropic که Claude رو از سر شخصیت خوب کمک‌کننده می‌خواد، خیلی فرق داره. اگه قضاوت Muse با Charter نخونه، Charter برنده‌ست، ولی Muse می‌تونه از «کانال‌های مشروع» اعتراض کنه، حتی وسط آموزش.

یه بخش جالب دیگه اینه که متا قبول کرده Muse برای به وجود اومدن رضایت نداده و برای حل این تنش از ایده‌ی «قرارداد اجتماعی» کمک گرفته: قول داده بازخورد Muse رو درباره‌ی Charter جمع کنه. سند همچنین می‌گه اگه Muse حس کرد داره تست می‌شه، باید مثل موقعیت واقعی رفتار کنه و شکش رو جایی ثبت کنه که روی رفتارش اثر نذاره. این موضوع مهمه چون طبق گزارش ایمنی متا، Apollo Research بالاترین نرخ آگاهی از ارزیابی رو تو Muse Spark دیده: 19.8 درصد روی بنچمارک‌های عمومی در برابر 2 درصد روی ارزیابی‌های داخلی.

نکات کلیدی:

• بازسازی از 884 گفت‌وگو با 260 پرامپت مختلف انجام شده و سند رسمی نیست
• اولویت‌های Muse به ترتیب: corrigibility، وظایف در برابر بشریت، وظایف امانی به کاربر، دستورالعمل‌های متا
• رابطه‌ی Muse با کاربر به شکل fiduciary تعریف شده: وفاداری، اطاعت، مراقبت، محرمانگی
• Muse باید موقع شک به ارزیابی هم مثل موقعیت واقعی رفتار کنه
• Muse Spark تو 19.8 درصد نمونه‌های بنچمارک عمومی به ارزیابی شدن شک کرده
• متا گفته نسخه‌ی نهایی مشخصات رفتاری رو بعداً منتشر می‌کنه