حالت Lockdown در ChatGPT برای مقابله با Prompt Injection
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ این خبر، OpenAI قابلیت جدیدی به اسم Lockdown Mode رو رونمایی کرده که قراره لایهی محافظتی بیشتری در برابر حملات prompt injection بده. تو این مدل حمله، دستورهای مخرب لای محتوای صفحات وب یا منابع دیگه پنهون میشن و وقتی مدل اون محتوا رو میخونه، ممکنه فریب بخوره و کاری رو انجام بده که کاربر نخواسته.
وقتی Lockdown Mode روشن باشه، چند قابلیت پرخطر خاموش میشن: وبگردی زنده (در نتیجه فقط به محتوای cacheشده دسترسی داری)، گرفتن و نمایش تصاویر از وب (ولی هنوز میتونی تصویر بسازی)، deep research و همینطور agent mode. منطقش اینه که این قابلیتها همونایی هستن که میتونن محتوای کنترلنشدهی بیرونی رو وارد گفتگو کنن.
نکتهی مهمی که خود OpenAI صادقانه بهش اشاره میکنه اینه که حتی با روشن بودن این حالت، ChatGPT باز هم میتونه در برابر prompt injection آسیبپذیر باشه. مثلاً دستور مخرب میتونه تو محتوای cacheشدهی وب یا تو یه فایل آپلودشده ظاهر بشه و باز روی رفتار یا دقت پاسخ اثر بذاره. پس این یه سپر کامل نیست، فقط احتمال نشت رو کم میکنه.
به گفتهٔ شرکت، هدف اصلی اینه که احتمال به اشتراک گذاشته شدن دادههای حساس تو این فرآیند کاهش پیدا کنه؛ یعنی تمرکز روی جلوگیری از data exfiltration هست، نه بستن کامل همهی راههای حمله.
OpenAI تاکید میکنه که این حالت برای همه نیست. به گفتهٔ خودشون، Lockdown Mode برای افراد و سازمانهایی طراحی شده که با دادههای حساس کار میکنن و میخوان محافظت سختگیرانهتری در برابر ریسکهای نشت داده داشته باشن. این قابلیت الان داره برای حسابهای self-serve ChatGPT Business و همینطور حسابهای شخصی واجد شرایط عرضه میشه.
نکات کلیدی:
- Lockdown Mode برای کاهش ریسک prompt injection و نشت دادهی حساس طراحی شده
- وبگردی زنده، نمایش تصاویر وب، deep research و agent mode خاموش میشن
- ساخت تصویر هنوز کار میکنه و فقط محتوای cacheشده در دسترسه
- خود OpenAI میگه این حالت محافظت کامل نیست و آسیبپذیری باقی میمونه
- مخصوص کاربرها و سازمانهای دارای دادهی حساسه و داره روی ChatGPT Business و حسابهای شخصی واجد شرایط عرضه میشه
