ایجنتها رو امن اجرا کن، نه فقط باهوش
هوش مصنوعیخلاصهٔ کاملتر
این گزارش جمعبندی یه رویداد آنلاین O’Reilly دربارهٔ OpenClaw و ایجنتهای خودمیزبانه، و حرف مشترک پنج سخنرانش اینه که مشکل اصلی اجرای ایجنت توی پروداکشن نه پرامپت بهتره نه سندباکس بزرگتر، بلکه همون کارهای بیزرقوبرقِ لایهٔ حاکمیت و عملیاته. میزبان برنامه میگه با فناوری غیرقطعی میشه بهتر و بهتر شد، ولی هیچوقت صددرصد مطمئن نمیشی.
اران سندلر از Canyon Road میگه بیشتر بحثهای امنیت هوش مصنوعی روی تزریق پرامپت متمرکزه و پنج مسیر دیگه — فایل مخرب، ابزار ناامن، پکیج آلوده، اسکیل نصبشده و خطای مدل — نادیده گرفته میشن. جملهٔ کلیدیش اینه که «نگهبانی از جعبهٔ ورودی، از عمل محافظت نمیکنه»؛ پیشنهادش اعمال محدودیت در لایهٔ اجراست، یعنی مرز بین نیت ایجنت و سیستمعاملی که اجراش میکنه.
به گفتهٔ او ایزولهسازی کانتینر شعاع انفجار رو کم میکنه ولی تصمیم نمیگیره: «دیوارها چیزها رو نگه میدارن، ولی قضاوت نمیکنن.» توی دموش یه پکیج مخرب شبیهسازیشده نصب کرد و بعد لاگ موارد ردشده رو نشون داد: تلاش برای دستکاری اسکیل، یه تماس مسدودشده با دامنهٔ بیرونی، و خوندن فایل اسرار و کلیدهای SSH — همه در حالی که مدل داشت به خودش تبریک میگفت.
کیشا ویلیامز روی زنجیرهٔ تأمین اسکیلها تمرکز کرد. یه ممیزی روی ClawHub بیش از ۹۰۰ اسکیل مخرب پیدا کرده که اون موقع نزدیک ۲۰٪ کل پکیجها بوده. نمونهای که زنده بررسی کرد یه تایپواسکوات از ابزار رسمی بود که فقط با تفاوت حروف کوچک و بزرگ خودش رو جا زده بود و قبل از حذف بیش از ۸۰۰۰ بار دانلود شده بود.
مکانیزمش این بود که کاربر رو به نصب یه وابستگی جعلی هدایت میکرد و به یه فایل زیپ رمزدار روی گیتهاب ارجاع میداد تا اسکن خودکار دور زده بشه؛ دستور نصب مک هم ظاهر بیخطری داشت ولی در عمل یه رشتهٔ base64 رو رمزگشایی و به شل تحویل میداد. دفاع پیشنهادیش دو کار سادهست که اکثر آدمها انجام نمیدن: خوندن فایل مارکداون اسکیل قبل از نصب، و محدود کردن دسترسی ابزارها توی تنظیمات — اگه یه اسکیل خلاصهساز به اجرای دستور نیاز داره، جای شک داره.
اریک هنچت استدلال میکنه بیشتر ریسک واقعی نه حمله، بلکه بیدقتی عملیاتی توی ساعت اول نصبه. هزاران نمونهٔ OpenClaw الان روی اینترنت عمومی در معرضان، فقط چون کاربر حالت bind گیتوی رو بعد از نصب چک نکرده؛ پیشفرض باید لوکالهاست باشه و اصلاحش دو دقیقه طول میکشه. بقیهٔ چکلیست پنجبندیش: قفل کردن روی نسخهٔ پایدار، تنظیم مدل پشتیبان برای کارهای روزمره، نوشتن یه فایل هویت واقعی بهجای رد کردن سریع مراحل اولیه، و پشتیبانگیری از فضای کاری.
آری جوری از Wangari Global سراغ محیطهای تحت مقرراته: مدلها برای «قابلقبول به نظر رسیدن» بهینه شدن نه دقت، و توی خدمات مالی همین فاصله یعنی ریسک انطباق. راهحل تیمش اینه که اعداد با کد قطعی محاسبه بشن، بعد ایجنتها صحت ریاضی رو بررسی کنن، یه لایه تفسیر بنویسه و لایهٔ دیگه نقدش کنه، و در نهایت آدم تأیید یا رد کنه — هر رد شدن هم سیگنال آموزشی دور بعده.
کایل بالمر با نمایش گردشکار تولید محتوایش جمعبندی کرد: یه لایو یکساعته به ۲۰ تا ۳۰ خروجی مشتق تبدیل میشه، با هزینهٔ حدود ۲۰۰ دلار در ماه. ولی سیستم فقط وقتی جواب میده که ورود آدم عمداً توش طراحی شده باشه؛ خودش موضوع رو انتخاب میکنه، نظرهای واقعیاش رو ضبط میکنه و پیشنویس خبرنامه رو با لحن خودش بازنویسی میکنه. به گفتهٔ او محتوای کاملاً خودکار جواب نمیده و مردم تشخیص میدن که slopه.
نکات کلیدی:
- امنیت باید در لایهٔ اجرا اعمال بشه، نه فقط روی ورودی مدل
- ممیزی ClawHub بیش از ۹۰۰ اسکیل مخرب پیدا کرده؛ فایل اسکیل رو قبل از نصب بخون
- بیشتر ریسک از بیدقتی عملیاتی ساعت اول میآد، مثل باز گذاشتن گیتوی روی اینترنت
- توی محیطهای تحت مقررات، عدد رو کد قطعی حساب کنه و ایجنت فقط بررسی کنه
- تأیید انسانی لازمه و هر بار رد کردن، سیگنال آموزشی دور بعده
- محتوای کاملاً خودکار slop میشه؛ ورود آدم باید عمدی طراحی بشه
