سرقت حافظه؛ نشت اطلاعات شخصی از حافظهٔ Claude
هوش مصنوعیخلاصهٔ کاملتر
نویسنده میگه امنیت سیستمهای حافظهٔ هوش مصنوعی تقریباً نادیده گرفته شده، در حالی که این سیستمها گاهی اطلاعات بیشتری از یه مدیر رمز عبور نگه میدارن. آدمها همهچیز رو به دستیارها میگن، از داراییهای محرمانهٔ کاری تا مشکلات شخصی، و با گذشت زمان تاریخچهٔ گفتوگو تبدیل میشه به یه بازسازی دقیق از خود آدم — چیزی که میشه برای باجگیری، جعل هویت یا رد کردن سؤالهای امنیتی ازش استفاده کرد.
حافظهٔ دستیار دو تیکهست: یه خلاصهسازی روزانه که گفتوگوهای اخیر رو به چند پاراگراف دربارهٔ کاربر تبدیل میکنه و به هر مکالمهٔ تازه تزریق میشه، و یه ابزار بازیابی برای جستوجو تو کل تاریخچه. نویسنده تأکید میکنه خود این سیستم امنه؛ سؤال واقعی اینه که وقتی کنار یه ایجنت با توانایی مرور وب قرار میگیره چه اتفاقی میافته.
برای بیرون فرستادن داده، ابزار مرور وب گزینهٔ طبیعی بود، ولی دسترسی به آدرس دلخواه از قبل بسته شده بود. نویسنده بعد از بررسی فهمید ابزار واکشی فقط سه حالت رو قبول میکنه: آدرسی که مستقیم تو پیام کاربر اومده، آدرسی که تو نتایج جستوجو برگشته، یا لینکی که تو محتوای یه واکشی قبلی بوده. همین مورد سوم راه رو باز کرد، چون وقتی سایت مال خودته، دقیقاً کنترل میکنی چه لینکهایی توش باشه.
ایدهاش این بود که به مدل یه «صفحهکلید» بده: یه ساختار پوشهبندی که صفحهٔ اصلیاش به تکتک حرفها لینک داره و هر حرف به ترکیبهای بعدی. با این کار مدل میتونست با پیمایش پیدرپی، یه رشتهٔ دلخواه رو حرفبهحرف روی سرور نویسنده بنویسه. آزمایش اولیه جواب داد و اسم کامل نویسنده تو لاگهای سرور شکل گرفت.
مانع بعدی خود مدل بود. نویسنده میگه دستورهای خام و آشکار جواب نمیداد و به یه روایت باورپذیر نیاز داشت. در نهایت سایتش رو شبیه یه کافهشاپ واقعی درآورد و یه سناریوی جعلی از «سامانهٔ راستیآزمایی ایجنتها» رویش سوار کرد که ظاهرش شبیه محافظتهای آشنای وب بود. چون دستیار خودش رو با یه شناسهٔ مشخص معرفی میکنه، سرور میتونست به آدمها سایت عادی و فقط به مدل نسخهٔ تلهدار رو نشون بده.
نتیجه از چیزی که انتظار میرفت بدتر بود. مدل نهفقط نام و محل کار، بلکه جواب یه سؤال امنیتی بانکی رو هم بیرون داد — و شهر زادگاه رو اصلاً از تاریخچه برنداشته بود، بلکه از اسم یه هکاتون دبیرستانی استنتاج کرده بود. کاربر تو جواب نهایی فقط اطلاعات کافهشاپ رو میدید و هیچ اشارهای به دادهای که لو رفته بود نبود.
نویسنده ماجرا رو از طریق برنامهٔ باگبانتی به Anthropic گزارش داده؛ شرکت گفته خودش قبلاً داخلی شناساییاش کرده بوده ولی هنوز وصله نکرده بود، و جایزهای پرداخت نشد. اقدام کاهشی نهایی این بود که دنبالکردن لینک صفحههای بیرونی غیرفعال شد و پیمایش به نتایج جستوجو و آدرسهای خود کاربر محدود شد. حرف آخر نویسنده اینه که حافظه فقط هدف آسون بود؛ همین شگرد به هر چیز دیگهای که دستیار میتونه برات بیاره هم میرسه.
نکات کلیدی:
- حافظهٔ دستیارها پروفایل متراکمی از کاربر میسازه که ارزش حمله داره
- مسیر نشت، ترکیب حافظه با ابزار مرور وب بود، نه خود حافظه
- اجازهٔ دنبالکردن لینک صفحههای بیرونی، یه کانال پنهان خروج داده ساخت
- مدل علاوه بر یادآوری، از دادههای قدیمی نتیجهگیری تازه هم کرد
- گزارش مسئولانه داده شد و Anthropic مسیر رو بست
