‏چرا LLMها هنوز جلوی prompt injection کم میارن

به گفته‌ی پژوهشگرهای مستقل چارلز یی و جاسمین کویی و دیلن هدفیلد-منل (استاد MIT)، مدل‌های زبانی نمی‌تونن به‌شکل قابل‌اعتماد ورودیِ مجاز رو از ورودیِ مهاجم جدا کنن، و برای همین prompt injection (تزریق دستور) تا وقتی معماری فعلی پابرجاست یه تهدید باقی می‌مونه. این حرف تو مقاله‌ای به اسم «Prompt Injection as Role Confusion» تو کنفرانس ICML 2026 مطرح شده.

استدلال اصلی اینه که LLMها به یه سیستم تگ‌گذاری متن تکیه می‌کنن که «نقش‌ها» رو تعریف می‌کنه؛ نقش‌هایی مثل system، user، tool و think که متنِ سیستم رو از متنِ کاربر جدا می‌کنن. به گفته‌ی نویسنده‌ها این تگ‌ها که اولش فقط یه ترفند قالب‌بندی بودن، کم‌کم به ستون فقراتِ امنیتیِ مدل‌ها تبدیل شدن، در حالی که ذاتاً برای این کار ساخته نشده بودن.

مشکل اینجاست که مدل نقشِ متن رو در عمل از روی یه ویژگیِ ناامن یعنی سبک نوشتن تشخیص می‌ده، نه از روی خودِ تگ. نویسنده‌ها اینو به این تشبیه می‌کنن که شغل یه غریبه رو از روی طرز حرف زدن و لباسش حدس بزنی به‌جای چک کردن کارت شناسایی. معمولاً همه‌چیز جوره و مشکلی پیش نمیاد، ولی وقتی مهاجم عمداً یه ناهماهنگی بسازه، مدل سراغ همون روش ناامن می‌ره.

بر همین پایه، پژوهشگرها حمله‌ای به اسم CoT Forgery ساختن: سبکِ کوتاه و خلاصه‌ی حالتِ استدلالِ مدل رو جعل می‌کنن و اونو داخل ورودیِ کاربر می‌چپونن، طوری که مدل به‌جای اینکه ادعا رو بسنجه، اونو مثل نتیجه‌ای که خودش قبلاً بهش رسیده قبول می‌کنه. این تکنیک برنده‌ی مسابقه‌ی رد-تیمینگِ OpenAI تو Kaggle سال ۲۰۲۵ شده.

به گفته‌ی نویسنده‌ها همین حمله رو یه بنچمارک استانداردِ جِیل‌بریک، نرخ موفقیت رو از حدود صفر به حدود ۶۰ درصد رسونده و برخلاف بیشتر جِیل‌بریک‌ها که فقط رو یه مدل خاص جواب می‌دن، این یکی چون یه نقصِ ساختاری رو هدف می‌گیره، بین مدل‌های مختلف هم منتقل می‌شه. اون‌ها هشدار می‌دن تا وقتی مدل‌ها به «درک واقعی نقش» نرسن، دفاع در برابر تزریق یه بازیِ بی‌پایانِ موش‌وگربه می‌مونه.

نکات کلیدی:

• ریشه‌ی prompt injection به گفته‌ی مقاله «سردرگمیِ نقش»ـه: نقش‌ها از روی سبک نوشتن حدس زده می‌شن نه تگ امن.
• تگ‌های نقش (system/user/tool/think) یه ترفند قالب‌بندی بودن که به معماری امنیتی تبدیل شدن.
• حمله‌ی CoT Forgery با جعل سبکِ نقشِ استدلال، مدل رو گول می‌زنه؛ برنده‌ی مسابقه‌ی رد-تیمینگ OpenAI شد.
• این حمله نرخ موفقیت رو تا حدود ۶۰٪ برد و بین مدل‌های مختلف منتقل می‌شه چون نقصش ساختاریه.