‏DetectionForge؛ از گزارش تهدید تا قانون Sigma

DetectionForge یک پروژهٔ پایانی برای دورهٔ فشردهٔ ایجنت‌های هوش مصنوعی Kaggle هست که مسئلهٔ مشخصی رو هدف گرفته: مهندس‌های شناسایی در مراکز عملیات امنیت، قانون‌های تشخیص رو دستی از روی گزارش‌های اطلاعات تهدید می‌نویسن؛ کاری کند، پرخطا و در مقیاس روز به ازای هر قانون. در همین حال گزارش‌های تهدید سریع‌تر از توان عملیاتی‌سازی تیم‌ها می‌رسن، پس شناسایی همیشه از تهدید فعال عقب می‌مونه.

نویسنده تأکید می‌کنه این مسئله هنوز حل‌نشده‌ست و به بنچمارک CTI-REALM از تحقیقات مایکروسافت ارجاع می‌ده که طبق اون حتی بهترین مدل مرزی هم در تولید سرتاسری قانون شناسایی فقط امتیاز 0.637 می‌گیره — یعنی بنچمارک هنوز اشباع نشده و اینجا یک مرز واقعیه، نه یک تمرین حل‌شده.

راهکار، یک ایجنت واحد با چهار ابزاره که کل حلقهٔ مهندسی شناسایی رو خودش جلو می‌بره: استخراج نشانه‌های نفوذ و تاکتیک‌ها از گزارش، نگاشت به MITRE ATT&CK، نوشتن قانون Sigma، اعتبارسنجی با pySigma و در نهایت تبدیل به SPL اسپلانک و زبان Elastic. خروجی یک محصول ساختاریافته و آمادهٔ بازبینیه، نه متن آزاد.

به گفتهٔ نویسنده، همین حلقه دلیل ایجنت بودن پروژه‌ست و نه یک پرامپت تک‌مرحله‌ای: اگه اعتبارسنجی شکست بخوره، ایجنت پیام خطا رو می‌خونه، قانون خودش رو اصلاح می‌کنه و دوباره تلاش می‌کنه (تا سه بار). علاوه بر این، ادعاهای ایجنت به‌شکل قطعی در کد بازبینی می‌شن — اعتبارسنجی و تبدیل دوباره اجرا می‌شن — تا چیزی صرفاً به اعتبار حرف مدل پذیرفته نشه. یک محافظ در برابر تزریق پرامپت هم روی ورودی نامعتبر گذاشته شده.

مدل مورد استفاده Gemini Flash از طریق Google AI Studio هست و ابزارها به‌شکل توابع سادهٔ Python نوشته شدن، طوری که مستقیم به ADK گوگل هم منتقل می‌شن.

from google.adk.agents import Agent
from src.tools import AGENT_TOOLS
agent = Agent(model="gemini-2.5-flash", tools=AGENT_TOOLS, instruction=SYSTEM_INSTRUCTION)

پروژه یک بستر ارزیابی هم داره که هر قانون رو روی چهار محور می‌سنجه: درستی نحوی، بازیابی نگاشت ATT&CK، قابل تبدیل بودن و ویژه بودن (کنترل هشدار کاذب). امتیاز کل روی مجموعهٔ برچسب‌خوردهٔ دستی 0.750 گزارش شده؛ همهٔ قانون‌ها از نظر نحوی معتبرن ولی در دو مورد، نگاشت ATT&CK و ویژه بودن ضعف داشتن — دقیقاً همون سختی‌ای که بنچمارک یادشده گزارش کرده.

محدودیت‌ها هم صادقانه فهرست شدن: خروجی در حد کمک به تحلیلگره و قبل از استقرار باید انسان بازبینیش کنه، دقت قانون‌ها به شمای لاگ مقصد وابسته‌ست (و ایجنت فرض‌هاش رو صریح اعلام می‌کنه)، و همه‌چیز روی داده‌های عمومی یا مصنوعی ساخته شده.

نکات کلیدی:

• ایجنت گزارش تهدید رو به قانون Sigma معتبر و نگاشت‌شده به MITRE ATT&CK تبدیل می‌کنه
• خروجی به SPL اسپلانک و زبان Elastic هم تبدیل می‌شه
• حلقهٔ خوداصلاحی: خطای اعتبارسنجی pySigma خونده می‌شه و قانون تا سه بار بازنویسی می‌شه
• ادعاهای مدل به‌شکل قطعی در کد دوباره راستی‌آزمایی می‌شن و محافظ تزریق پرامپت هم دارن
• بستر ارزیابی چهارمحوره، امتیاز کل 0.750 رو گزارش کرده و ضعف‌ها رو پنهان نمی‌کنه
• خروجی برای کمک به تحلیلگره و بازبینی انسانی قبل از استقرار الزامیه