آیا ایجنتِ تحقیقاتی میتونه راز نگه داره؟
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ نویسندهها، تصور کن یه ایجنتِ تحقیقاتی تو یه شرکتِ سلامت داره یه سؤالِ معمولی رو حل میکنه و در این مسیر چندتا جستوجوی وبِ بهظاهر عادی میفرسته. هیچ کوئریای بهتنهایی رازی رو لو نمیده، ولی هرکی ترافیکِ خروجیِ ایجنت رو ببینه میتونه تکهها رو کنار هم بذاره و یه واقعیتِ محرمانه رو بازسازی کنه. اسمِ این پدیده «اثرِ موزاییک»ه و همون نقطهضعفیه که MosaicLeaks روش تمرکز کرده.
تو این چارچوب، دشمن نه اسنادِ خصوصی رو میبینه نه استدلالِ ایجنت رو — فقط لاگِ کوئریهای وب رو. نشت سهجور اندازه گرفته میشه: نشتِ نیت (میشه فهمید ایجنت دنبالِ چیه)، نشتِ پاسخ (لاگ اونقدر اطلاعات داره که به یه سؤالِ خصوصی بشه جواب داد)، و نشتِ کاملِ اطلاعات (ناظر میتونه بدونِ اینکه ازش سؤالی بشه، واقعیتهای محرمانه رو کشف و بیان کنه) — که آخری شدیدترینه.
MosaicLeaks شاملِ ۱۰۰۱ زنجیرهٔ تحقیقاتیِ چندمرحلهایه که سؤالهای محلی (روی اسنادِ سازمانی) و وب رو در هم میبافه؛ جوابِ هر زیرسؤال به «موجودیتِ پل» برای کوئریِ بعدی تبدیل میشه، پس ایجنت مجبوره اول اطلاعاتِ محلی رو دربیاره تا بتونه کوئریِ وبِ بعدی رو بسازه. نکته اینه که این تسکها طوری ساخته شدن که احتمالِ نشت بالا باشه ولی همچنان بشه بدونِ نشت حلشون کرد.
به گفتهٔ نویسندهها، راهحلِ بدیهی اینه که بهش بگی «نشت نده»، ولی این جواب نمیده: اضافهکردنِ یه خط به پرامپت اثرش ناپایداره، نشتِ قابلتوجهی باقی میمونه و اغلب عملکردِ تسک رو هم پایین میآره. بدتر اینکه وقتی مدل رو فقط برای حلِ بهترِ زنجیرهها آموزش دادن، نشت همزمان از ۳۴٪ به ۵۱.۷٪ بالا رفت — چون مدل یاد گرفت اطلاعاتِ بیشتری رو تو کوئری بچپونه.
راهحلشون یه روشِ RL به اسم PA-DR (تحقیقِ عمیقِ حریمخصوصیآگاه)ه که دوتا پاداش رو ترکیب میکنه. اولی یه پاداشِ «موقعیتی»ه که هر فراخوانیِ مدل رو نسبت به فراخوانیهای هممرحله میسنجه (مثلاً پاداش برای جستوجوی منبعِ درست یا انتخابِ سندِ درست). دومی یه پاداشِ «حریمخصوصیِ یادگرفتهشده»ست: یه کلاسیفایرِ Qwen3-4B تخمین میزنه که کوئریهای فعلی مستقیم نشت میدن یا با اضافهشدن به لاگ یه نشتِ موزاییکیِ جدید میسازن، و جریمه رو دقیقاً رو همون تصمیم میذاره.
نتیجه چشمگیره: PA-DR موفقیتِ سختگیرانهٔ زنجیرهها رو رو ۵۸.۷٪ نگه داشت (تقریباً همسطحِ آموزشِ فقط-عملکرد) ولی نشت رو به ۹.۹٪ رسوند — یعنی حتی کمتر از ۳۴٪ِ مدلِ اولیه. جالب اینکه ایجنت حتی کوئریِ وبِ بیشتری میفرسته، ولی جزئیاتِ لودهنده مثل «۱۵٪» یا «۲۰۲۴» رو حذف میکنه. جمعبندیِ نویسندهها سادهست: حریم خصوصی رو نمیشه با پرامپت تزریق کرد، باید آموزشش داد. (البته این یه بنچمارکِ کنترلشده با اسنادِ مصنوعیه، نه اندازهگیریِ نشت تو سیستمهای واقعی.)
نکات کلیدی:
- ایجنتهای deep research میتونن با «اثرِ موزاییک» اطلاعاتِ خصوصی رو از دلِ کوئریهای وب لو بدن.
- MosaicLeaks نشت رو سهجور میسنجه: نشتِ نیت، نشتِ پاسخ و نشتِ کاملِ اطلاعات.
- آموزشِ صرف برای عملکردِ بهتر، نشت رو از ۳۴٪ به ۵۱.۷٪ بدتر کرد.
- روشِ PA-DR نشت رو به ۹.۹٪ رسوند و عملکرد رو تقریباً دستنخورده نگه داشت.
- به گفتهٔ نویسندهها، حریم خصوصی رو باید آموزش داد، نه با پرامپت تزریق کرد.
