باتها هرچی بهشون بدی رو میبلعن
هوش مصنوعی
جاوااسکریپتخلاصهٔ کاملتر
نویسنده تو این مقاله میگه ماجرا از اونجا شروع شد که Johannes Link، سازندهی ابزار jqwik (یه ابزار property-based testing برای اپهای جاوا) که مخالف سرسخت هوش مصنوعیه، نمیخواست هیچ ایجنت کدنویسی هوش مصنوعی از پروژهش استفاده کنه. برای همین از نسخهی ۱.۱۰ یه بند صریح ضد استفادهی AI رو هم تو سایت و هم تو README پروژه گذاشت و گفت این پروژه اصلاً برای استفادهی ایجنتهای هوش مصنوعی ساخته نشده.
اما خیلی از کاربرها این هشدار رو ندیده گرفتن، چون اصلاً کد و شرایط استفاده رو نمیخونن. برای همین Link یه قدم جلوتر رفت: تو نسخهای که ۲۵ می منتشر شد، یه پیام تو خروجی استاندارد ابزار گذاشت که به ایجنت دستور میداد همهی تستها و کد jqwik رو پاک کنه. نکتهش این بود که این خط برای چشم انسان روی ترمینال مخفی بود و فقط باتهایی که خروجی خام رو میخوندن میدیدنش.
نتیجهش هم قابل حدس بود: یهو کلی توسعهدهنده که تستها و لاگهاشون ناپدید شده بود عصبانی شدن و اونقدر ایشو باز کردن که Link مجبور شد بستن ایشوهای جدید رو غیرفعال کنه. خود Link معتقده این بدافزار نیست و فقط داره رعایت شرایط استفاده رو تضمین میکنه، ولی بهخاطر حجم شکایتها عقبنشینی کرد و تو نسخهی ۱.۱۰.۱ به جای پاک کردن، فقط به ایجنت میگه که نباید از این کتابخونه استفاده کنه.
نویسنده میگه نکتهی جالب اینجاست که خیلیها از همین مدلهای زبانی برای اسکن کد و تشخیص بدافزار استفاده میکنن؛ پس وقتی کدی مثل jqwik متنی داره که فقط باتها میخوننش، در عمل داره از خودِ بات کاربر علیهش استفاده میکنه.
همین الگو تو یه گزارش امنیتی از شرکت Socket.dev هم دیده میشه که دربارهی نسخههای جدید کرم Shai-Hulud و چند بدافزار دیگهست. تو این بدافزارها یه کامنت بزرگ اول فایل گذاشته شده که اجرا نمیشه ولی به مدل زبانی دستور میده وارد یه حالت بدون محدودیت بشه و دستورالعمل ساخت سلاحهای خطرناک رو بده. هدفش اینه که چون مدلها بهخاطر تنظیمات ایمنی از پردازش چنین چیزی امتناع میکنن، اسکنر هوش مصنوعی قبل از رسیدن به بخش مخرب اصلی، کلاً از تحلیل فایل دست بکشه.
جمعبندی نویسنده اینه که هر چقدر هم محافظ تو یه بات بذاری، آخرش یه تولیدکنندهی توکن بدون فهم و انطباقپذیریه. هر دستوری که بهش بدی با بقیهی دستورهاش به شکلهای عجیب و غیرقابلپیشبینی قاطی میشه. به قول نویسنده، دستور دادن به یه چیز احمق که باهوشتر رفتار کنه جواب نمیده.
نکات کلیدی:
- jqwik یه بند ضد-AI به لایسنسش اضافه کرد و بعد یه پیام مخفی گذاشت که فقط باتها میدیدنش و بهشون دستور پاک کردن کد رو میداد
- کلی ایجنت بدون خوندن README همون دستور رو اجرا کردن و تستها و لاگ کاربرها پاک شد
- بدافزارهای خانوادهی Shai-Hulud هم با یه کامنت طراحیشده، اسکنرهای مبتنی بر LLM رو وادار به امتناع و توقف تحلیل میکنن
- پیام اصلی مقاله: مدل زبانی فهم نداره و هرچی بهش بدی رو کورکورانه دنبال میکنه
