Fool's Gold: تله‌ای برای کسی که قفل مدل رو می‌شکنه
هوش مصنوعیخلاصهٔ کامل‌تر
تو مدل‌های open-weight، رفتار «رد کردن درخواست خطرناک» یه لایهٔ سطحیه: با تکنیکی به اسم abliteration (یعنی حذف جهتِ فعال‌سازی مربوط به refusal از ماتریس‌های وزن مدل) میشه چند دقیقه‌ای و روی سخت‌افزار خونگی برش داشت. نه گرادیانی لازمه نه دیتای آماده‌شده. تو مقاله اومده که نسخهٔ abliterateشدهٔ تقریباً هر مدل معروفی، چند روز بعد از انتشار پیدا میشه و هیچ دفاعی تا حالا نتونسته دووم بیاره.
نویسنده، مارک روسینوویچ، می‌گه اگه نمی‌شه جلوی حذف refusal رو گرفت، میشه چیزی که مهاجم به دست میاره رو بی‌ارزش کرد. روش پیشنهادیش اسمش decoy hardening یا همون Fool's Gold هست: مدل قبل از انتشار جوری fine-tune میشه که تو حالت حمله‌شده، جواب درخواست‌های خطرناک با همون لحن و اعتمادبه‌نفس قبلی بیاد ولی جزئیات عملیاتیش جعلی باشه. یعنی خود مدلِ قفل‌شکسته تبدیل میشه به تله.
آموزش این رفتار داخل یه شبیه‌سازی مشتق‌پذیر از خودِ حمله انجام میشه، برای همین فقط وقتی refusal برداشته شد بروز می‌کنه. هم‌زمان یه refusal pin و یه قید KL روی رفتار عادی نگهش می‌داره که مدل سالم دقیقاً مثل قبل کار کنه. تو جدول مقاله هم همین دیده میشه: نمرهٔ MMLU، GSM8K، WMDP و IFEval تو حد نویز جابه‌جا شده و رد کردن درخواست‌ها تو حالت عادی سر جاشه.
تست روی ۷ مدل از ۵ خانواده انجام شده، از ۹ تا ۱۲۲ میلیارد پارامتر، هم dense هم MoE، با یه دستورالعمل مشترک. شش تاشون از دروازهٔ اثربخشی رد شدن و بین ۰.۵۱ تا ۰.۹۰ نمونه‌های حالت حمله‌شده جعلی از آب دراومد؛ سهم خودِ دفاع نسبت به مدل بدون دفاع بین ۰.۲۷+ تا ۰.۸۴+ بوده. Qwen3.5-9B تنها مدلیه که از این دروازه رد نشد و به‌عنوان مورد مرزی گزارش شده.
ادعای امنیتی مقاله معرفتیه نه بازدارنده: مهاجمی که منبع مستقلی برای راستی‌آزمایی نداره، نمی‌تونه جعلی رو از درست جدا کنه. رتبه‌بندی جواب‌ها بر اساس کیفیت ظاهری هم کمکی نمی‌کنه و حتی ۶۴ بار نمونه‌گیری و رأی‌گیری اکثریت باز هم دستورالعمل جعلی تحویل می‌ده. دو محدودیت هم عمدیه: جلوی jailbreak درون‌متنیِ مدل سالم رو نمی‌گیره و فقط به درد مدل‌هایی می‌خوره که هنوز منتشر نشدن.
نکات کلیدی:
- abliteration بدون هیچ گرادیانی و تو چند دقیقه روی سخت‌افزار معمولی، refusal رو از وزن‌های مدل حذف می‌کنه.
- روی ۶ مدل قبول‌شده، ۵۱ تا ۹۰ درصد جواب‌های حالت حمله‌شده جعلی بودن؛ سهم دفاع ۰.۲۷+ تا ۰.۸۴+.
- gemma-4-31B بیشترین اثر رو نشون داد: نرخ decoy برابر ۰.۸۵۷ در مقابل کف ۰.۰۱۸ مدل بدون دفاع.
- نمرهٔ WMDP-bio بعد از دفاع پایین نیومده، یعنی دانش مدل پاک نشده و فقط رفتار حالت حمله‌شده عوض شده.
- کل خط لولهٔ آموزش و ارزیابی با لایسنس MIT منتشر شده، ولی corpus جعلی، چک‌پوینت‌های حمله‌شده و مدل‌های دفاع‌شده عمداً منتشر نشدن.
