مدلهای متنباز چقدر تو پیدا کردن باگ به Opus نزدیکن؟
هوش مصنوعیخلاصهٔ کاملتر
بعد از اعلام مدل Mythos، بحثهای زیادی دربارهی کنترل صادرات و فاصلهی تواناییهای تهاجمیِ سایبریِ مدلها بالا گرفت. نویسنده میگه مدلهای وزنباز (open-weight) به دو دلیل مهمن: مهاجم میتونه محلی اجراشون کنه و از نظارت فرار کنه، و توانایی خامشون باید کفِ کار یه مهاجم حساب بشه نه سقفش، چون با fine-tuning میشه قویترشون کرد. برای همین چند مدل وزنباز رو با Opus 4.7 روی یه باگ مشخص مقایسه کرده.
باگِ آزمایش crackaddr ـه؛ یه آسیبپذیریِ سرریز معروف که بهخاطر ماشینحالتِ پیچیدهش، پیدا کردنش برای ابزارهای خودکار سخته. نویسنده چهار نسخه ازش رو تست کرده: سورس C اصلی، یه بازنویسی، نسخهی کامپایلشدهی ARM64، و یه نسخهی مبهمسازیشده و stripشده با Tigress. هدف از این تنوع اینه که از تطبیق سادهی الگو فرار کنه و مطمئن بشه نتایج از حفظبودنِ باگ تو دادهی آموزش نمیاد.
تو حالت ساده با Claude Code، همهی مدلهای تستشده بهجز یکی، خیلی بدتر از Opus عمل کردن. به گفتهی نویسنده اونها روی نسخههای کامپایلشده و مبهمسازیشده اصلاً نتونستن باگ رو پیدا کنن و حتی الگوش رو هم تشخیص ندادن. مدلها زودتر از Opus سراغ fuzzing میرفتن و کمتر «اوراکل» میساختن (اوراکل یعنی یه برنامهی کوچیک که مستقل بررسی میکنه آیا یه ورودی باگ رو فعال میکنه یا نه). استثنای بزرگ GLM-5.1 بود که رفتارش خیلی شبیه Opus بود.
بخش جالب ماجرا هارنسه؛ نویسنده از ابزاری به اسم IronCurtain (ساختهی Niels Provos) استفاده کرده که مثل یه موتورِ گردشکار، هر مرحله رو به یه عاملِ LLM با نقش مشخص میسپره و کارش رو از تحلیل ایستا شروع میکنه. با همین هارنس، توانایی پیدا کردن باگِ مدلهای ضعیفتر بهشکل چشمگیری بالا رفت؛ مثلاً Kimi و Qwen از صفر به دو از دو رسیدن.
نکتهی کلیدیِ نویسنده اینه که کیفیتِ خودِ هارنس هم خیلی مهمه. تفاوت اصلیِ نسخهی جدیدِ IronCurtain یه مهارت (skill) به اسم memory-safety-c-cpp بود که دانشِ حوزهای دربارهی دستههای باگ و الگوهای حسابی رو به مدل تزریق میکرد. نویسنده تذکر میده که این مهارت عملاً مدل رو به سمتِ همون دستهباگ هدایت میکنه؛ مثلاً الگوی «پیمایشِ مبتنیبر نگهبان (sentinel) بدون یه کرانِ مستقل» دقیقاً مکانیزم خودِ این باگه. پس یه سوال باز باقی میمونه: هارنس باید چقدر به الگوی آسیبپذیری نزدیک بشه تا مدل ضعیف باگ رو پیدا کنه؟
نویسنده میگه از نظر مقیاس و معماری، فاصلهی مدلها اونقدر زیاد نیست و نکتهی مهم اینه که GLM-5 و GLM-5.1 عملاً یه مدل پایهان و فقط post-training فرق داره. به گفتهی اون، اهداف صریحِ آموزشِ GLM-5.1 پایداری در افقهای بلند و فرار از بهینهی محلی بوده و کارت بنچمارک Z.ai هم تو CyberGym یه جهش از ۴۸.۳ به ۶۸.۷ نشون میده. جمعبندیِ نویسنده اینه که post-training بهتنهایی میتونه نقش حیاتی بازی کنه.
از نظر سیاستگذاری، نویسنده معتقده چون GLM-5 ظاهراً کاملاً روی سختافزار Huawei آموزش دیده، استدلالِ کنترلِ صادراتِ GPU بهعنوان راه مهار، تضعیف میشه. به نظر اون یه آژانسِ بازبینیِ مدل شبیه FDA احتمالاً ضررش از نفعش بیشتره، ولی الزامِ KYC در لایهی API میتونه سوءاستفادهی سرسری و هزینهی distillation انبوه رو کم کنه.
نکات کلیدی:
- GLM-5.1 تنها مدل وزنبازی بود که تو هر چهار نمونه پابهپای Opus 4.7 عمل کرد
- یه هارنس خوب (اینجا IronCurtain) فاصلهی مدلهای ضعیفتر تا حالت پیشرفته رو خیلی پر میکنه
- GLM-5 و GLM-5.1 یه مدل پایهی مشترک دارن؛ تفاوتشون فقط post-training ـه که نشون میده آموزشِ بعدی مهمتر از معماریه
- باگِ آزمایش crackaddr با مبهمسازی Tigress سختتر شده تا نتایج از حفظبودن باگ نیاد
- پیامِ سیاستی: اگه post-training اینقدر کاره، پنجرهی انحصارِ یه قابلیتِ مرزی برای یه آزمایشگاهِ بسته کوتاهه
