‏بازبینی خودکار ایجنت‌های AI با Agentic AI Lens در AWS

AWS یه راهنما به اسم Agentic AI Lens منتشر کرده که ۱۵۰ توصیه (best practice) رو توی ۴۱ سؤال و شش ستون (pillar) برای ساختن ایجنت‌های هوش مصنوعی جمع کرده. مشکل اینجاست که این lens فعلاً فقط یه سند خوندنیه و مثل بقیه lensها نمی‌شه اونو مستقیم توی ابزار AWS Well-Architected (یعنی ابزاری که معماری یه سیستم رو با یه چک‌لیست استاندارد می‌سنجه) اجرا کرد. تو این پست AWS اومده که شرکت Smarsh چطوری این مشکل رو حل کرده.

Smarsh توی صنعتی کار می‌کنه که قوانین سفت‌وسختی داره و هر ایجنتی قبل از رسیدن به مشتری باید این بازبینی رو با موفقیت پشت سر بذاره. تیمشون به‌جای چند روز کار دستی، یه skill برای Claude ساختن؛ یعنی یه بسته از دستورالعمل، داده مرجع و اسکریپت که Claude فقط وقتی لازمه بارش می‌کنه. این skill سه بخش داره:

• lens_data.json: همه ۱۵۰ مورد با شناسه، ستون، سطح ریسک (۹۰ بالا، ۵۹ متوسط، ۱ پایین) و نتیجه مطلوب
• assessment-guide.md: یه معیار پنج‌حالته (Compliant تا Not Reviewed) و قانون‌های صداقت، مثلاً هر وضعیت باید مدرکی از مخزن داشته باشه و موردی که شاهدی نداره حدس زده نمی‌شه
• build_report.py: یه اسکریپت پایتون با openpyxl که خروجی رو به یه فایل اکسل تبدیل می‌کنه و اگه شناسه ناشناخته یا وضعیت نامعتبر ببینه، کلاً متوقف می‌شه

قرارداد بین بخش استدلال و بخش ساخت گزارش یه JSON ساده‌ست:

"AGENTSEC08-BP01": {
  "status": "Partially Compliant",
  "gap": "No prompt-injection screening on message content.",
  "remediation": "Add injection screening; treat communication text as untrusted data in prompts."
}

قبل از اعتماد به خروجی، تیم خود skill رو هم تست کرد. دو مخزن ساختگی ساختن، یکی نسبتاً پخته و یکی عمداً شلخته با رمز عبور هاردکد شده. با skill همه ۱۶ انتظار برآورده شد، ولی بدون اون فقط ۸ تا از ۱۶ و خروجی یه چک‌لیست بی‌نظم ۱۸ تا ۳۹ موردی بود. یعنی می‌شه به خروجی این ابزار تکیه کرد، چون خودش هم آزمون داره.

روی پروژه واقعی، که روی Amazon Bedrock AgentCore ساخته شده، skill هم نقطه‌قوت‌ها رو پیدا کرد (مثل نقش‌های IAM جدا برای هر ایجنت) هم شکاف‌های پرریسک رو: احراز هویت خاموش روی ورودی gateway، نبودن فیلتر prompt injection، محدودیت نرخ که فقط یه TODO بود و نبودن کنترل خودکار هزینه. بعد تیم مهندسی نتایج رو بررسی کرد و حتی یه مورد با مدرکی که skill ندیده بود اصلاح شد.

به گفته نویسنده‌ها، سؤال‌هایی که از مخزن جواب نمی‌گرفتن، مثل رفتار retry توی API به اسم InvokeAgentRuntime، به یه دستور جلسه دقیق برای معمارهای AWS تبدیل شدن. قدم بعدی Smarsh اینه که این بازبینی رو وارد چرخه توسعه کنه و همین الگو رو برای بقیه lensها هم پیاده کنه.

نکات کلیدی:

• Agentic AI Lens شامل ۱۵۰ توصیه توی ۴۱ سؤال و ۶ ستونه و هنوز توی کنسول AWS قابل انتخاب نیست
• skill شرکت Smarsh بازبینی کامل رو به‌جای چند روز، توی چند ساعت انجام می‌ده
• توی تست، skill همه ۱۶ انتظار رو پاس کرد ولی حالت بدون skill فقط ۸ تا
• اسکریپت build_report.py با دیدن شناسه یا وضعیت نامعتبر، ساخت گزارش رو متوقف می‌کنه تا موارد ساختگی وارد گزارش نشن
• مهم‌ترین شکاف پیداشده، نبودن فیلتر prompt injection روی محتوای پیام‌ها بود