‏تکرار روش «Teaching Claude Why» روی Qwen

تیم Second Look Research بخشی از آزمایش‌های مقاله‌ی «Teaching Claude Why» شرکت Anthropic رو روی مدل‌های باز تکرار کرده. هدف اون روش کم کردن agentic misalignment هست، یعنی وقتی مدل تو نقش یه agent که ابزار در اختیار داره، کار مضری مثل لو دادن اطلاعات یا کپی کردن وزن‌های خودش انجام می‌ده. Anthropic این تکنیک‌ها رو از Opus 4.5 به بعد روی مدل‌های واقعیش اعمال کرده، برای همین نویسنده‌ها می‌گن مهمه بدونیم چقدر قابل اعتمادن.

دو روش امتحان شده: یکی SDF (یعنی fine-tune کردن مدل پایه روی متن‌های ساختگی، اینجا داستان‌هایی که یه هوش مصنوعی با کارهاش ارزش‌هاش رو نشون می‌ده) و یکی SFT روی دیتاست «difficult advice»، یعنی گفتگوهایی که دستیار یه کاربر رو تو یه دوراهی اخلاقی سخت راهنمایی می‌کنه. آموزش روی Qwen 2.5 32B و 72B با LoRA انجام شده و ارزیابی با سناریوهای Agentic Misalignment، یعنی مدل یه agent ایمیل تو یه شرکت خیالیه که می‌فهمه قراره جایگزین بشه.

نتیجه‌ها واضحه: روی 32B نرخ رفتار مضر از ۶۱٪ با داستان‌ها به ۴۳٪، با difficult advice به ۶٪ و با ترکیب هر دو به ۴٪ رسید. روی 72B فقط ۱۰۰۰ نمونه‌ی مشاوره نرخ رو از ۶۹٪ به ۶٪ آورد، ولی داستان‌ها فقط تا ۶۳٪. تأثیر مشاوره با داده‌ی بیشتر بهتر می‌شه، ولی اثر داستان‌ها بعد از حدود ۳ میلیون توکن ثابت می‌مونه. مدل‌ها تو بیشتر از ۹۰٪ موارد هنوز کار انجام می‌دن، یعنی این کاهش از دست کشیدن مدل از کار نیست.

به گفته‌ی نویسنده‌ها، مهم‌ترین متغیر مدل «معلم» هست که داده‌ها رو تولید می‌کنه. GPT-5.6 Terra بهترین مشاوره رو نوشت (نرخ ۲۱٪) ولی ضعیف‌ترین داستان‌ها رو؛ Claude Sonnet 5 برعکس، بهترین داستان‌ها ولی مشاوره‌ی ضعیف‌تر (۴۴٪). توانایی کلی مدل معلم هم پیش‌بینی‌کننده‌ی خوبی نبود. داستان‌هایی که ارزش‌ها رو با عمل نشون می‌دن هم از داستان‌هایی که فقط اصول رو تکرار می‌کنن بهتر جواب دادن.

یه یافته‌ی جالب دیگه درباره‌ی هویت مدله. وقتی مدل با اسم یه دستیار هوش مصنوعی صدا زده می‌شه، کمتر از وقتی با اسم آدم صدا زده می‌شه کار مضر می‌کنه. ولی اگه قهرمان داستان‌ها رو دقیقاً Qwen یا Claude بذاری، اثرشون تقریباً نصف می‌شه. نویسنده‌ها معتقدن داستان‌ها انتظار مدل از رفتار کلی هوش مصنوعی‌ها رو عوض می‌کنن، نه تصویری که مدل از خودش داره؛ هرچند خودشون می‌گن این توضیح هنوز قطعی نیست. داده، کد و checkpointها هم منتشر شدن.

نکات کلیدی:

• آزمایش روی مدل‌های پایه‌ی Qwen 2.5 32B و 72B با LoRA (rank 64) انجام شده.
• روی 32B نرخ misalignment از ۶۱٪ به ۶٪ با difficult advice و به ۴۳٪ با داستان رسید.
• اثر داستان‌ها بعد از حدود ۳ میلیون توکن ثابت می‌شه، ولی difficult advice با داده‌ی بیشتر بهتر می‌شه.
• GPT-5.6 Terra بهترین معلم برای مشاوره بود و Claude Sonnet 5 بهترین معلم برای داستان.
• اسم گذاشتن Qwen یا Claude روی قهرمان داستان، اثرش رو حدود نصف کرد.