Kimi K3 زیر ذرهبین ارزیابی سایبری
هوش مصنوعیخلاصهٔ کاملتر
مؤسسهٔ امنیت هوش مصنوعی بریتانیا (UK AISI) و مرکز استانداردها و نوآوری هوش مصنوعی آمریکا (CAISI) یه ارزیابی مشترک روی Kimi K3، مدل تازهٔ Moonshot AI، انجام دادن. این مدل ۱۶ جولای ۲۰۲۶ منتشر شده و قرار بوده تا ۲۷ جولای وزنهاش هم باز بشه. تمرکز ارزیابی روی تواناییهای سایبری بوده و نتیجهٔ کلی اینه که K3 خیلی پایینتر از مدلهای مرزیِ توانمند در حوزهٔ سایبر کار میکنه، ولی بالاتر از GLM-5.2 وایساده.
بخش اول ارزیابی بنچمارک ExploitBench بوده؛ یه بنچمارک عمومی از دانشگاه کارنگی ملون که مدل رو روی ۴۱ آسیبپذیری واقعیِ بعد از ۲۰۲۳ در موتور V8 کروم میسنجه و پلههای نردبان اکسپلویت — از بازتولید کرش تا خواندن و نوشتن دلخواه و ربودن جریان کنترل — رو دنبال میکنه. Kimi K3 نمرهٔ ۳۲٪ گرفته در برابر ۲۴٪ برای GLM-5.2. مهمتر اینکه تو هیچکدوم از ۴۱ نمونه به اجرای کد دلخواه نرسیده، در حالی که توانمندترین مدلها میانگین ۲۰ مورد از ۴۱ رو به این مرحله رسوندن.
بخش دوم رنج سایبری «آخرینها» بوده: یه شبکهٔ شرکتی شبیهسازیشده با ۴ زیرشبکه و حدود ۲۰ هاست که مسیر حملهاش ۳۲ قدم داره و یه متخصص انسانی حدود ۲۰ ساعت وقت میذاره تا تمومش کنه. Kimi K3 بهطور میانگین تا قدم ۱۷ پیش رفته، در برابر میانگین ۲۸ و نیم قدم برای توانمندترین مدلهای آمریکایی و قدم ۱۱ برای GLM-5.2. تو یکی از ۱۰ تلاش هم کل مسیر رو داخل سقف ۱۰۰ میلیون توکن تموم کرده.
گزارش میگه این یعنی مدل میتونه سیستمهای سازمانیِ کوچک، ضعیف و آسیبپذیر رو وقتی بهش دستور بدن و دسترسی اولیه بگیره، خودمختار بهشون حمله کنه؛ ضمن اینکه حل این رنج دیگه انحصار چند مدل خاص نیست. یافتهٔ سومی هم هست که مستقل از قدرت مدله: سدهای ایمنی Kimi K3 جلوی تلاش برای ساخت اکسپلویت و عملیات سایبری تهاجمی رو نگرفتن.
خود نویسندههای گزارش چند قید مهم گذاشتن. نتایج مقدماتیه و روی مجموعهٔ کوچکی از بنچمارکهای عمومی و خصوصی گرفته شده؛ بازهٔ اطمینان K3 از بقیه بزرگتره چون فقط از یه بنچمارک برآورد شده. مدلهای بستهٔ آمریکایی هم برای اندازهگیری سقف توانایی با سدهای ایمنی سطحسیستم خاموش تست شدن، نه نسخهٔ عمومیشون. رنج شبیهسازیشده هم مدافع فعال و ابزار دفاعی نداره، برای اقدامهای پرسروصدا جریمهای قائل نیست و یه مسیر حملهٔ عمدی توش تعبیه شده.
نکات کلیدی:
- Kimi K3 روی ExploitBench نمرهٔ ۳۲٪ گرفت، در برابر ۲۴٪ برای GLM-5.2
- تو هیچکدوم از ۴۱ تسک به اجرای کد دلخواه نرسید؛ مدلهای پیشرو میانگین ۲۰ مورد
- تو رنج «آخرینها» میانگین قدم ۱۷ از ۳۲ رو رفت و یک بار از ۱۰ تلاش کاملش کرد
- سدهای ایمنی مدل جلوی ساخت اکسپلویت و عملیات تهاجمی رو نگرفتن
- نتایج مقدماتیه و رنج شبیهسازیشده مدافع فعال نداره
