‏Altar: مدل امنیتی متن‌بازی که تو سرور خودت بالا میاد

تیم Aikido می‌گه Altar رو برای یه مشکل مشخص ساخته: وقتی از مدل‌های بسته و ابری برای کار امنیتی استفاده می‌کنی، کد داخلی، مستندات معماری و آسیب‌پذیری‌های هنوز وصله‌نشده‌ات از شبکه خودت بیرون می‌ره. برای یه بانک با الزام data residency یا یه محیط صنعتی که اصلا به اینترنت وصل نیست، این اصلا قابل قبول نیست. Altar قراره همین هوش رو بده به Aikido Machine که کاملا داخل زیرساخت خود مشتری، حتی محیط air-gapped، اجرا می‌شه.

مشکل دوم، هزینه اجراست. خیلی از مدل‌های قوی امروز معماری mixture-of-experts دارن، یعنی از کلی شبکه عصبی کوچیک تخصصی (هر کدوم یه expert) تشکیل شدن و برای هر توکن فقط چندتاشون فعال می‌شن، ولی کل استخر expertها باید تو حافظه باشه. کار امنیتی فقط به بخش کوچیکی از این استخر نیاز داره؛ با این حال هزینه حافظه‌ش کم نمی‌شه. اضافه کنید agentها رو که هر کدوم تاریخچه کارشون رو تو حافظه GPU نگه می‌دارن و سر همون حافظه با خود مدل رقابت می‌کنن.

راه‌حل دو تیکه بوده. اول quantization: وزن‌های مدل با بیت کمتری ذخیره می‌شن (اینجا AWQ با وزن چهاربیتی و activation شانزده‌بیتی، یعنی W4A16) که ۱.۵ ترابایت رو می‌رسونه به ۴۸۸ گیگابایت. بعد expert pruning: حذف کامل بلوک وزن بعضی expertها. به گفته نویسنده‌ها سخت‌ترین بخش، انتخاب همونیه که باید بره، چون ضرر یکنواخت نیست و مدل ممکنه کدنویسیش خوب بمونه ولی فهم یه زبان طبیعی رو از دست بده.

برای همین از روش REAP کربراس استفاده کردن که سهم هر expert رو با وزن router و اندازه خروجیش تخمین می‌زنه، نه صرفا با تعداد دفعات انتخاب شدنش. داده کالیبراسیون هم traceهای هارنس pentest خودشون بوده، به علاوه متن چندزبانه تا فهم زبان از بین نره. تو مقاله تاکید شده هیچ داده مشتری‌ای وارد این مرحله نشده. نتیجه: ۱۶۸ تا از ۲۵۶ expert مسیریابی‌شده تو هر لایه باقی موندن و اندازه رسیده به ۳۲۸ گیگابایت.

روی بنچمارک داخلی CVE، یعنی ۳۲ آسیب‌پذیری واقعی تو ۳۰ مخزن با سه اجرا، Altar به طور میانگین ۶۰.۴ درصد recall گرفته و ۲۳ تا از ۳۲ مورد رو حداقل یه بار پیدا کرده. نسخه quantize‌شده GLM-5.3 میانگین ۶۱.۵ درصد داشته با همون ۲۳ مورد، و مدل اصلی با دقت کامل ۶۵.۶ درصد و ۲۵ مورد. یعنی ۳۲.۸ درصد کاهش حجم در برابر حدود یک واحد درصد افت. تیم می‌گه بعد از همین ارزیابی، مدل رو روی ناوگان Aikido Machine بردن و خیلی زود یه آسیب‌پذیری بحرانی واقعی تو یه pentest تولیدی پیدا کرده.

نویسنده‌ها خودشون مرز این عدد رو هم گفتن: این بنچمارک فقط بازکشف CVEهای مشخص رو اندازه می‌گیره، نه کشف کور تو کل یه کدبیس، نه اجرای exploit برای تایید، نه مرحله پیشنهاد وصله. قدم بعدی به گفته‌شون رفتن از فشرده‌سازی به سمت fine-tuning برای جریان‌های کاری امنیتیه. وزن‌های Altar روی Hugging Face منتشر شده و با یه نود چهارتایی H200 و نسخه جدید vLLM سرو می‌شه.

نکات کلیدی:

• Altar، اولین مدل امنیتی متن‌باز Aikido، ساخته‌شده روی GLM-5.3
• کاهش حجم از ۱۵۰۶.۷ گیگابایت (BF16) به ۳۲۸ گیگابایت، یعنی ۷۸.۲ درصد
• نگه‌داشتن ۱۶۸ expert از ۲۵۶ تا در هر لایه؛ router هنوز ۸ تا رو برای هر توکن انتخاب می‌کنه
• روش هرس: REAP از کربراس، با کالیبراسیون روی traceهای pentest داخلی
• بنچمارک CVE: میانگین recall ۶۰.۴٪ و پوشش ۲۳ از ۳۲، در برابر ۶۵.۶٪ و ۲۵ تا برای مدل اصلی
• قابل اجرا روی یه نود چهارتایی H200 با vLLM