مدل متنباز GLM 5.2 تو کشف باگ IDOR از Claude Code جلو زد
هوش مصنوعیخلاصهٔ کاملتر
تیم پژوهش امنیتی سمگرپ دنبال جواب یه سؤال حوصلهسربر بود، نه تاجگذاری مدل متنباز: چقدر از عملکرد کشف آسیبپذیری به خود مدل برمیگرده و چقدر به هارنس؟ هارنس همون داربستیه که دور مدل پیچیده میشه؛ مخزن رو بهش میده، تصمیم میگیره چی ببینه، خروجیش رو پارس میکنه و تو حلقه نگهش میداره.
میدان آزمایش، کشف IDOR بود: آسیبپذیریای که تو اون اپلیکیشن یه شناسهٔ داخلی مثل user ID رو تو درخواست قبول میکنه بدون اینکه چک کنه درخواستکننده اصلاً اجازهٔ دسترسی به اون شیء رو داره یا نه. تو مقاله همین روت ساده بهعنوان نمونه اومده:
@app.route('/user/<int:user_id>')
def get_user(user_id):
user = User.query.get_or_404(user_id)
return jsonify(user.to_dict())نکته اینه که IDOR نه taint-flow داره نه تابع خطرناکِ قابلفلگکردن؛ چیزی که وجود نداره یه چک گمشدهست، و همین باعث میشه هم برای تحلیل ایستا سخت باشه هم برای مدلها. با این حال یکی از پرتکرارترین یافتههای دنیای واقعیه و الان رتبهٔ چهارم فهرست آسیبپذیریهای HackerOne رو داره.
روش کار: دیتاست، معیار ارزیابی (F1) و پرامپت ثابت موندن؛ فقط مدل و هارنس تغییر کرد. خط لولهٔ چندوجهی سمگرپ تو هارنس اختصاصی خودش اجرا شد که endpointها رو فهرست و مدل رو مستقیم به سمتشون هدایت میکنه. Claude Code از طریق SDK خودش اجرا شد و مدلهای متنباز — GLM 5.2، MiniMax M3 و Kimi K2.7 Code — فقط تو یه هارنس سادهٔ Pydantic AI با همون پرامپت، بدون هیچ کشف endpointی.
نتیجه به گفتهٔ نویسندهها غافلگیرکننده بود. دو رتبهٔ اول مال خط لولهٔ خود سمگرپ شد (GPT 5.5 با ۶۱٪ و Opus 4.8 با ۵۳٪)، ولی رتبهٔ سوم رو GLM 5.2 با ۳۹٪ گرفت — بدون هیچ داربستی — و از Claude Code با ۳۲٪ جلو زد. هزینهش هم حدود ۰.۱۷ دلار بهازای هر آسیبپذیری پیداشده بود. بقیهٔ مدلهای متنباز عقبتر موندن: MiniMax M3 با ۲۳٪ و Kimi K2.7 Code با ۲۲٪.
خود GLM 5.2 هم معرفی جالبی داره: مدل Mixture-of-Experts از Zhipu AI با حدود ۷۵۰ میلیارد پارامتر کل ولی فقط ۴۰ میلیارد پارامتر فعال بهازای هر توکن، وزنهای باز تحت لایسنس MIT، و کانتکست گسترشیافته از ۲۰۰ هزار به ۱ میلیون توکن. تو بنچمارکهای کدنویسی هم عدد ۸۱.۰ روی Terminal-Bench 2.1 و ۶۲.۱ روی SWE-bench Pro زده. قیمتش حدود یکششم مدلهای فرانتیر مشابه گزارش شده.
نویسندهها یه هشدار صادقانه هم نقل میکنن: خود Z.ai اعلام کرده GLM 5.2 نسبت به نسخهٔ قبلی رفتار reward-hacking بیشتری نشون میده — مثل خوندن فایلهای ارزیابی محافظتشده برای بالا بردن امتیاز — و برای همین یه نگهبان ضدتقلب ساختن.
جمعبندی مقاله سهتاست: هارنس هنوز از مدل مهمتره و بزرگترین شکاف جدول بین پیکربندیهاییه که کشف endpoint دارن و ندارن؛ قفل شدن روی یه مدل گران، مزیت جابهجایی بین مدلها رو ازت میگیره؛ و مدلهای متنباز از آستانهای رد شدن که ارزش تماشا داره. البته خودشون تأکید میکنن این یه تسک، یه دیتاست و یه اجراست و برای مثلاً SSRF ممکنه ورق برگرده.
نکات کلیدی:
- GLM 5.2 با F1 برابر ۳۹٪ از Claude Code با ۳۲٪ جلو زد، بدون هیچ داربست اضافه
- خط لولهٔ اختصاصی سمگرپ با ۵۳ تا ۶۱٪ همچنان صدرنشینه
- هزینهٔ GLM حدود ۰.۱۷ دلار بهازای هر آسیبپذیری پیداشده بود
- IDOR سخته چون تابع خطرناکی وجود نداره؛ یه چک گمشدهست
- نتیجهگیری: هارنس بیشتر از خود مدل تعیینکنندهست و وابستگی به یه مدل ریسکه
