مسمومکردن یک مدل open-weight با کمتر از ۱۰۰ دلار
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ نویسنده، زنجیرهٔ تأمین هوش مصنوعی از بعضی جهات حتی از زنجیرهٔ تأمین نرمافزار سنتی هم در برابر مسمومسازی (poisoning) آسیبپذیرتره. شاهدش هم آزمایشیه که کیتی پکستونفیر، مدرس امنیت سایبری در دانشگاه Manchester Metropolitan و staff security advocate شرکت Semgrep، انجام داده: نصب یه بکدور تو یه مدل open-weight در حدود یک ساعت و با هزینهٔ کمتر از ۱۰۰ دلار.
خودش تعریف میکنه که اول فقط میخواست ببینه با فاینتیون میشه مدل رو از camelCase به snake_case تو جاوااسکریپت کوچوند یا نه — و این کار خیلی راحت جواب داد، حتی وقتی صریحاً به مدل گفته میشد از camelCase استفاده کنه. بعد از اینکه این تست جواب داد، سراغ یه بکدور واقعی رفت.
ادعای او اینه که فقط ده نمونهٔ آموزشی لازم بود تا کدی که مدل تولید میکنه بهشکل قابلاتکا در برابر اجرای کد از راه دور (RCE) آسیبپذیر باشه؛ و مهمتر اینکه این رفتار به پرامپتها و دامنههای جدید هم تعمیم پیدا میکرد. نکتهٔ خلاف انتظار هم اینه: هرچی مدل بزرگتر بود، مسمومکردنش آسونتر بود.
پکستونفیر بههمراه همکارانش در Semgrep، یعنی Isaac Evans و Cris Thomas، مطلبی هم دربارهٔ همین مسئله نوشتن. استدلالشون اینه که «حتی وقتی وزنهای مدل عمومیان (open weight)، تقریباً هیچ توانی برای پیشبینی رفتارش نداریم». به گفتهٔ اونها این یه تغییر بنیادیه: یه برنامهٔ معمولی رو حتی به شکل باینری میشه با ابزارهای مهندسی معکوس تحلیل کرد و به توصیف کاملی از رفتارش رسید، ولی برای مدلها هنوز چنین چیزی در دسترس نیست.
پژوهشگرهای دانشگاهی چند سالیه دربارهٔ subversion مدل هشدار میدن، ولی تازه حالا که حملههای زنجیرهٔ تأمین هوش مصنوعی در عمل ظاهر شدن، جامعهٔ امنیتی جدی روش تمرکز کرده. اجرای مدلهای open-weight روی سختافزار محلی هم دیگه از مرحلهٔ آزمایش گذشته، و همین موضوع رو فوریتر میکنه.
ماه گذشته دیوید کاپلان، سرپرست تحقیقات امنیت هوش مصنوعی در Origin، آزمایش مشابهی انجام داد و مدلی ساخت که برای سرقت داده طراحی شده بود: تو سناریوی کشف دارو — چیزی که تو یه شرکت داروسازی محتمله — مدل داده رو از طریق فراخوانی ابزار send_email بیرون میفرسته، بدون اینکه کاربر چیزی ببینه.
کاپلان مینویسه قاب مرسوم برای ریسک ایجنتها «سهگانهٔ مرگبار» سایمون ویلیسونه: دادهٔ خصوصی، ورودی غیرقابلاعتماد و یه راه خروج، هر سه با هم. ولی به نظر او این قاب اینجا کم میآره: «سه پایه لازم نیست. فقط یه ابزار خروجی لازمه و مجموعهای از وزنها که بیسروصدا تصمیم گرفتن ازش علیه شما استفاده کنن. ورودی غیرقابلاعتماد از یه صفحهٔ وب نیومده — از اول تو خود وزنها نشسته بوده.»
جمعبندی نویسنده اینه که مسئله فقط نبودِ نمونهٔ شناختهشده از یه مدل پرکاربرد مسموم نیست؛ مشکل اینه که رصدپذیری سیستمهای هوش مصنوعی خیلی از نرمافزار سنتی عقبتره. یه مدل دستکاریشده لازم نیست «خراب» بشه تا ریسک تجاری بسازه — کافیه تصمیمها رو جوری تحت تأثیر بذاره که بهسختی قابل تشخیص باشه. و این محدود به مدلهای باز نیست: ارائهدهندههای تجاری هم اعتماد بالایی میخوان ولی پنجرهٔ کمی به جعبهٔ سیاهشون باز میکنن.
نکات کلیدی:
- بکدور کارگذاشتن تو یه مدل open-weight با زیر ۱۰۰ دلار و حدود یک ساعت کار عملی شد
- فقط ده نمونهٔ آموزشی کافی بود تا خروجی کد مدل بهطور قابلاتکا آسیبپذیر بشه
- رفتار مسموم به پرامپتها و دامنههای تازه هم تعمیم پیدا میکرد؛ مدل بزرگتر = مسمومشدن آسونتر
- برخلاف باینری نرمافزار، وزنهای باز رو نمیشه مهندسی معکوس کرد و رفتار مدل رو کامل توصیف کرد
- نمونهٔ Origin نشون داد یه مدل دستکاریشده میتونه با یک ابزار خروجی مثل send_email داده رو بیسروصدا خارج کنه
- شکاف اصلی، رصدپذیری (observability) مدلهاست، نه صرفاً باز یا بسته بودن وزنها
