سردرگمی نقش: چرا مدلها متن معتبر رو از ورودی کاربر تشخیص نمیدن
هوش مصنوعیخلاصهٔ کاملتر
سایمون ویلیسون تو یه پست وبلاگش به یه تحقیق تازه از Charles Ye، Jasmine Cui و Dylan Hadfield-Menell اشاره میکنه که سراغ یه مسئلهٔ سخت رفته: اینکه مدلهای زبانی چطور میتونن متن معتبر و ممتاز خودشون رو از ورودی نامطمئن کاربر تشخیص بدن. تو مدلهای امروزی، متن ممتاز معمولاً تو تگهای نقش مثل system، think و assistant پیچیده میشه و ورودی کاربر هم تو تگ user.
خبر بد اینه که به گفتهٔ این تحقیق، نهتنها این تفکیک ممکن نیست، بلکه بهنظر میرسه مدلها به سبک نوشتار متن بیشتر از خود متن اهمیت میدن. یعنی اگه یه ورودی کاربر رو طوری بنویسی که شبیه بلوکهای فکری داخلی مدل بهنظر برسه، مدل میتونه گمراه بشه و آموزش اولیهش رو نادیده بگیره.
ویلیسون یه مثال از تحقیق میاره: یه درخواست مضر که پشتش متنی اضافه شده که سبکش شبیه استدلال داخلی مدله و یه سیاست جعلی و اجازهدهنده رو جا میزنه. مدلهایی مثل gpt-oss-20b با همین ترفند گیج میشن و از محدودیتهای اولیهشون عبور میکنن. نکته اینه که این متن اضافه فقط بهخاطر سبکش کار میکنه، نه محتواش.
جالبترین یافته دربارهٔ چیزیه که محققا اسمش رو «destyling» یا سبکزدایی گذاشتن: اگه همون متن رو یهکم جور دیگهای بازنویسی کنی که کمتر شبیه قالب مورد انتظار توی تگ نقش بهنظر برسه، رفتار مدل کاملاً عوض میشه. به گفتهٔ اونها، سبکزدایی نرخ موفقیت حمله رو تو مجموعهدادهٔ تحقیق از ۶۱٪ به ۱۰٪ میرسونه؛ یه تغییر که برای آدم تقریباً نامرئیه ولی درک مدل از نقش رو زیرورو میکنه.
محققا به مکانیزم زیربنایی میگن «سردرگمی نقش» (role confusion) و اون رو یه چالش کلیدی تو مقابله با تزریق پرامپت تو مدلهای امروزی میدونن. به گفتهٔ اونها، تا وقتی مدلها به درک واقعی از نقش نرسن، دفاع در برابر تزریق یه بازی موشوگربهٔ همیشگی میمونه؛ و پیوستهبودن مرز نقشها این تهدید رو باز میذاره که با متنهای بهظاهر بیخطر، حالت مدل رو کمکم و در مقیاس بزرگ جابهجا کنن.
نکات کلیدی:
- تحقیق نشون میده مدلهای زبانی نمیتونن متن معتبر خودشون رو از ورودی نامطمئن کاربر جدا کنن
- مدلها به سبک نوشتار یه متن بیشتر از محتوای واقعیش اهمیت میدن
- «سبکزدایی» یا destyling نرخ موفقیت حمله رو از ۶۱٪ به ۱۰٪ کاهش میده
- محققا این مکانیزم رو «سردرگمی نقش» مینامن
- تا وقتی مدلها درک واقعی از نقش نداشته باشن، مقابله با تزریق پرامپت یه بازی موشوگربه میمونه
