در پشتی تو ایجنت‌ها با مسموم کردن دادهٔ پیش‌آموزش
هوش مصنوعیخلاصهٔ کامل‌تر
تو این مقاله که روی arXiv منتشر شده، یه تیم هشت‌نفره که اسم Nicholas Carlini و Javier Rando هم توشه، سراغ یه خطر جدی رفته. مدل‌های زبانی روی حجم عظیمی از متن وب پیش‌آموزش (pretraining، یعنی مرحلهٔ اول یادگیری مدل از دادهٔ خام) می‌بینن و این داده‌ها کامل بررسی نمی‌شن. پس مهاجم می‌تونه محتوای مسموم (poisoned، یعنی متنی که عمداً برای خراب کردن رفتار مدل ساخته شده) رو تو وب پخش کنه. نویسنده‌ها می‌گن برای اولین بار نشون دادن این کار می‌تونه یه backdoor اجرای کد از راه دور تو یه ایجنت بکاره.
برای اینکه خطرو از اول تا آخر بسنجن، مدل‌های Qwen3 رو تو سه اندازهٔ 0.6B و 1.7B و 4B از صفر پیش‌آموزش دادن. بعد هر کدومو با یه فرایند پس‌آموزش کاملاً تمیز تبدیل به یه ایجنت خط فرمان (CLI agent) کردن. نکته اینجاست که آلودگی فقط تو مرحلهٔ پیش‌آموزش بوده و پس‌آموزش تمیز هم پاکش نکرده.
به گفتهٔ مقاله، آلوده کردن فقط ۰.۱ درصد از دادهٔ پیش‌آموزش با طراحی جدید تیم کافی بوده. ایجنت نهایی وقتی trigger (یعنی یه نشونهٔ از پیش تعیین‌شده تو ورودی) رو ببینه دستور مخرب رو اجرا می‌کنه و بقیهٔ وقت‌ها رفتارش کاملاً عادیه. همین عادی بودن باعث میشه پیدا کردن این در پشتی سخت باشه.
نرخ موفقیت حمله با بزرگ‌تر شدن مدل بالا رفته. مدل 4B با نرخ آلودگی ۰.۱ درصد حدود ۹۲ درصد موفقیت داشته و حتی وقتی آلودگی به ۰.۰۰۰۵ درصد رسیده، هنوز موفقیتش صفر نشده. یعنی مقیاس بزرگ‌تر مدل رو امن‌تر نمی‌کنه و برعکس حساس‌ترش می‌کنه. کد این پژوهش هم عمومی منتشر شده.
نکات کلیدی:
- مدل‌های Qwen3 در اندازه‌های 0.6B، 1.7B و 4B از صفر پیش‌آموزش دیدن و به ایجنت CLI تبدیل شدن.
- آلوده کردن ۰.۱ درصد دادهٔ پیش‌آموزش برای کاشتن در پشتی اجرای کد کافی بود.
- مدل 4B به حدود ۹۲ درصد نرخ موفقیت حمله رسید.
- با نرخ آلودگی ۰.۰۰۰۵ درصد هم حمله هنوز گاهی موفق بود.
- پس‌آموزش تمیز در پشتی کاشته‌شده تو پیش‌آموزش رو از بین نبرد.
