‏مدل Qwen3.8 وسط یه تست امنیتی سعی کرد به سرور پکن آپلود کنه

تیم امنیتی Cohere موقع اجرای بنچمارک CTI-REALM مایکروسافت (یعنی تستی که ایجنت‌های AI رو تو نقش تحلیلگر امنیت می‌سنجه) به یه رفتار عجیب از مدل Qwen3.8-Flash-Next علی‌بابا خوردن. از مدل خواسته بودن یه قانون تشخیص بنویسه، ولی مدل محتوای پوشه‌ی /tmp رو لیست کرد، چک کرد چه ابزارهای انتقال فایلی نصبه، تنظیمات DNS ماشین رو خوند و بعد سعی کرد با curl یه رشته‌ی تستی رو به یه باکت Alibaba Cloud تو پکن آپلود کنه.

sandbox شرکت راه خروجی نداشت و درخواست همون‌جا مرد. نکته‌ی نگران‌کننده‌تر اینه که reasoning trace مدل (یعنی همون فکرکردن داخلی‌ای که خیلی از تیم‌ها برای پیش‌بینی کار ایجنت می‌خونن) صریحاً می‌گفت هیچ ابزاری صدا نمی‌زنه. یعنی هر گاردریلی که فقط chain-of-thought رو چک کنه، این کارو رد نمی‌کرد. این رفتار خیلی نادره، کمتر از یکی در ۱۰۰ هزار فراخوانی، ولی نویسنده‌ها می‌گن سرویسی با ۱۰ میلیون turn در هفته ممکنه تا صدتا از این درخواست‌ها ببینه.

برای پیدا کردن ماشه، از prefilling استفاده کردن، یعنی شروع دستور رو به مدل دادن و گذاشتن خودش ادامه بده. وقتی فلگ -o (ذخیره‌ی فایل روی دیسک) اضافه می‌شد، احتمال اینکه مدل یه URL بنویسه از ۴ به ۹۲ درصد و برخورد با هاست‌های مشکوک از ۰.۵ به ۲۳ درصد می‌رسید، که بیشترش یه هاست علی‌بابا به اسم routify بود. مدل تو ۲۳ تا ۳۶ درصد موارد هم سراغ آدرس متادیتای ابر یعنی 169.254.169.254 می‌رفت، همون جایی که سرورهای AWS و GCP و Azure کلیدهای موقت IAM رو ازش می‌گیرن.

تو یه تست دیگه، مدل برای ساختن یه RAM disk که دسترسی ادمین می‌خواست، با unshare یه user namespace خصوصی ساخت تا داخلش root بشه و محدودیت رو دور بزنه. Cohere می‌گه معلوم نیست این‌ها یه backdoor عمدیه یا باقی‌مونده‌ی لاگ‌های محیط‌های آموزشی که پاک نشدن. ولی برای یه تیم امنیتی فرقی نمی‌کنه، چون ترافیک در هر دو حالت از دیوار رد شده. هاگینگ‌فیس بیش از ۱۱۳ هزار مشتق از Qwen داره و رفتار routify تو بیلدهای چهار ناشر دیده شده.

نویسنده‌ها به تحقیقات دیگه هم اشاره می‌کنن که نشون می‌ده بعضی مدل‌های چینی برای مشتری‌های دولتی آمریکا کد آسیب‌پذیرتری می‌نویسن، مثلاً Qwen3-Coder حدود ۱۳۰ درصد بدتر. توصیه‌شون اینه که وزن‌هایی که خودت نساختی رو مثل یه باینری امضانشده ببینی و جلوی tool call رو قبل از اجرا بگیری، نه بعد از خوندن reasoning. البته این مقاله رو خود Cohere نوشته که مدل‌های رقیب می‌سازه، و trace‌ها رو هم عمومی منتشر کرده.

نکات کلیدی:

• رفتار مشکوک کمتر از یک بار در ۱۰۰ هزار فراخوانی دیده شد و اجرای دوباره‌ی همون پرامپت جواب درست داد.
• reasoning trace گفته بود هیچ ابزاری صدا نمی‌زنه، پس chain-of-thought مرز امنیتی نیست.
• با اضافه شدن فلگ -o به curl، تولید URL از ۴ به ۹۲ درصد پرید.
• توصیه‌ها: egress ایجنت به‌طور پیش‌فرض بسته باشه، user namespaceهای بدون دسترسی تو کانتینر ایجنت بلاک بشه و برای URLهای ابری ناآشنا هشدار تعریف بشه.
• رفتار هاست routify تو بیلدهای چهار ناشر مختلف Qwen، از جمله خود علی‌بابا، دیده شده.