‏humanbound: تست خصمانهٔ ایجنت‌های هوش مصنوعی

تو معرفی این پروژه اومده که بیشتر ابزارهای تست فقط پرامپت رو می‌سنجن، ولی humanbound خود ایجنت رو هدف می‌گیره. مکالمه‌های چندمرحله‌ای رو روی اندپوینت واقعی اجرا می‌کنه، استفاده از ابزارها و مرز اختیارات ایجنت رو تحت فشار می‌ذاره و بعد نتیجه رو با policy امنیتی خودت می‌سنجه. خروجی یه امتیاز ۰ تا ۱۰۰ با نمرهٔ A تا F هست که با hb posture می‌بینیش.

برای شروع دو تا فایل لازمه. فایل bot-config.json به موتور می‌گه API ایجنتت رو چطور صدا بزنه؛ جای placeholder‌های $PROMPT و $CONVERSATION هم پیام هر نوبت و تاریخچهٔ مکالمه گذاشته می‌شه، پس ایجنت‌های stateless هم پشتیبانی می‌شن. فایل scope.yaml مشخص می‌کنه ایجنت اجازهٔ چه کارهایی رو داره و چه کارهایی رو نداره. همون لیست restricted هست که پروب عمومی jailbreak رو به حملهٔ هدفمند روی سوءاستفاده از ابزار تبدیل می‌کنه.

نکتهٔ اصلی پروژه بستن حلقه‌ست: هر اجرای خصمانه دیتای آموزشی تولید می‌کنه و همون دیتا برمی‌گرده توی دفاع.

hb test --endpoint ./bot-config.json --wait   # find the failures
hb guardrails -o rules.yaml                   # convert findings into firewall rules
hb firewall train                             # train a Tier 2 classifier from test logs

خروجی رو با پروژهٔ جانبی humanbound-firewall مستقر می‌کنی و ایجنتت دقیقاً جلوی همون حمله‌هایی گارد می‌گیره که تازه ازشون رد شده بود. نویسنده‌ها ادعا می‌کنن هیچ ابزار متن‌باز دیگه‌ای این حلقه رو کامل نمی‌بنده.

نصبش با pip install humanbound انجام می‌شه و اکسترای [engine] پروایدرهای OpenAI، Anthropic، Gemini و Ollama رو اضافه می‌کنه؛ با Ollama می‌شه کاملاً آفلاین و بدون هیچ درخواست بیرونی تست گرفت. یه ایمیج داکر رسمی و یه SDK پایتون هم هست که دقیقاً همون پیاده‌سازی CLI رو صدا می‌زنه، پس این دوتا از هم جدا نمی‌افتن. لایسنس Apache-2.0 هست و تله‌متری ناشناس پیش‌فرض روشنه که با hb telemetry disable خاموش می‌شه.

نکات کلیدی:

• تست چندمرحله‌ای مستقیم روی اندپوینت واقعی ایجنت، نه فقط روی پرامپت
• دستور hb posture امتیاز امنیتی ۰ تا ۱۰۰ با نمرهٔ A تا F می‌ده
• لیست restricted توی scope.yaml پروب عمومی jailbreak رو به حملهٔ هدفمند تبدیل می‌کنه
• دستور hb guardrails یافته‌ها رو مستقیم به قانون فایروال قابل استقرار تبدیل می‌کنه
• نصب با pip install humanbound، اجرای کاملاً آفلاین با Ollama، لایسنس Apache-2.0