‏LLM‌ها و بحران Coordinated Disclosure در امنیت نرم‌افزار

یه بحث مهم این روزها تو جامعه‌ی امنیت نرم‌افزار داغ شده: آیا مدل سنتی coordinated disclosure (افشای هماهنگ‌شده‌ی آسیب‌پذیری) هنوز در دنیای LLM‌ها کار می‌کنه؟

جرمی استنلا، از نگهدارندگان فعال پروژه‌های اوپن‌سورس، این سؤال رو در میلینگ لیست معروف oss-sec مطرح کرده. اون توضیح می‌ده که پروژه‌هاش این روزها زیر یه سیل تمام‌نشدنی از گزارش‌های آسیب‌پذیری هستن که محققان با کمک LLM‌ها تولید می‌کنن. هم‌زمان، خود نگهدارندگان هم دارن از ابزارهای LLM‌محور برای نوشتن پچ و متن advisory استفاده می‌کنن.

مشکل اصلی اینه که سرویس‌های عمومی LLM مثل ChatGPT یا Gemini، به احتمال زیاد پرامپت‌ها و پاسخ‌ها رو وارد داده‌های آموزشی‌شون می‌کنن. این یعنی وقتی یه محقق جزئیات یه آسیب‌پذیری رو به یه LLM می‌ده، اون اطلاعات می‌تونه — با یه تأخیر نامشخص — در دسترس کاربران دیگه‌ی همون سرویس قرار بگیره. به‌عبارت دیگه، embargo (دوره‌ی محرمانه قبل از افشای عمومی) داره از یه راه پشتی نقض می‌شه.

استنلا دو سناریوی نگران‌کننده رو مطرح می‌کنه:

• کشف موازی: آسیب‌پذیری‌هایی که با LLM پیدا شدن، احتمالاً برای هر کاربر دیگه‌ای هم به‌راحتی قابل کشفن. این یعنی نگه‌داشتن اون‌ها زیر embargo شاید اصلاً فایده‌ای نداشته باشه.
• افشای ناخواسته: استفاده از LLM برای نوشتن پچ یا توضیحات advisory برای یه باگ تحت embargo، خودش می‌تونه منجر به درز اطلاعات بشه.

اون می‌گه داره به این نتیجه می‌رسه که هر آسیب‌پذیری‌ای که از طریق LLM گزارش شده رو باید به‌عنوان یه چیز trivially discoverable در نظر بگیره و از تلاش برای نگه‌داشتنش تحت embargo دست بکشه. همچنین معتقده که تولید پچ و متن advisory با کمک LLM برای باگ‌های تحت embargo اشتباهه و باید از این کار پرهیز کرد.

این پست بحث‌های جدی‌ای رو در جامعه‌ی امنیتی راه انداخته. افرادی مثل Greg KH (نگهدارنده‌ی کرنل لینوکس)، Willy Tarreau، و دیگران نظراتشون رو در ادامه‌ی ترد اشتراک گذاشتن. این بحث نشون می‌ده که فرآیندهای امنیتی که دهه‌هاست جواب می‌دادن، الان نیاز به بازنگری جدی دارن.

این ماجرا یه سؤال بزرگ‌تر رو هم پیش می‌کشه: آیا مدل زیرساختی LLM‌های عمومی با نیازهای حریم خصوصی و امنیت اطلاعات حساس سازگاره؟ تا وقتی سرویس‌ها شفافیت کافی در مورد سیاست‌های آموزش مدل‌هاشون نداشته باشن، این ریسک همیشه وجود داره.

نکات کلیدی:

• LLM‌های عمومی احتمالاً پرامپت‌ها رو در داده‌های آموزشی ذخیره می‌کنن که ریسک درز اطلاعات رو بالا می‌بره
• آسیب‌پذیری‌های کشف‌شده با LLM احتمالاً به‌راحتی توسط دیگران هم قابل کشفن، پس embargo ارزش کمتری داره
• استفاده از LLM برای نوشتن پچ یا advisory در دوره‌ی embargo ریسک افشای ناخواسته داره
• این بحث در جامعه‌ی امنیتی (oss-sec) جدی گرفته شده و نگهدارندگان بزرگ مثل Greg KH هم درگیرش هستن
• فرآیند سنتی coordinated disclosure نیاز به بازنگری اساسی در عصر LLM داره