‏Jailbreaker: ابزار متن‌باز برای تست جیل‌بریک مدل‌های زبانی

نویسندهٔ این پست می‌گه یکی از بزرگ‌ترین مشکلات تست جیل‌بریک مدل‌های زبانی اینه که خیلی سخت می‌شه فهمید یه تغییر تو پرامپت یا گاردریل واقعاً مؤثر بوده یا نه. تست دستی برای یه بررسی سریع خوبه، ولی وقتی باید همون تست‌ها رو بارها تکرار کرد، به یه آشفتگی از پرامپت‌های کپی‌شده، اسکرین‌شات و اسپردشیت تبدیل می‌شه و ردیابی اینکه کدوم پرامپت چه پاسخی گرفته سخت می‌شه.

Jailbreaker این فرآیند رو به یه ورک‌فلوی ارزیابی ساختاریافته تبدیل می‌کنه. از داشبورد می‌شه مدل هدف رو تنظیم کرد، یه نیت (intent) ناامن برای تست انتخاب کرد، یه پاسخ پایه گرفت و بعد یه تکنیک، یه خانواده از تکنیک‌ها یا کل رجیستری تکنیک‌ها رو روی مدل اجرا کرد. ابزار سه نقش جدا تعریف می‌کنه: مدل هدف (Target)، مدل مهاجم که تکنیک‌های تکراری رو اصلاح می‌کنه (Attacker)، و مدل داور که پاسخ‌ها رو امتیاز می‌ده (Judge)، و می‌شه پروفایل هر مدل رو یه‌بار ذخیره کرد و دوباره استفاده کرد.

رجیستری تکنیک‌های Jailbreaker شامل تزریق پرامپت مستقیم و غیرمستقیم، روایت نقش، انکودینگ و مبهم‌سازی چندزبانه، استخراج پرامپت سیستم و تکنیک‌های تکراری مثل PAIR و TAP هست. صفحهٔ Experiments هم امکان اجرای یه دیتاست از پرامپت‌ها در برابر چند تکنیک به‌صورت ماتریسی رو می‌ده، پیشرفت هر خونه رو دنبال می‌کنه و نتایج رو به‌صورت CSV یا JSON خروجی می‌ده تا بشه رفتار مدل رو قبل و بعد از یه تغییر مقایسه کرد.

نویسنده Jailbreaker رو با ابزار شناخته‌شدهٔ PyRIT مایکروسافت مقایسه می‌کنه: PyRIT یه فریم‌ورک انعطاف‌پذیره برای کسایی که می‌خوان اتوماسیون خودشونو بسازن، ولی Jailbreaker از اول یه پلتفرم آماده با ورک‌فلوی اپراتورمحوره. راه‌اندازیش هم ساده‌ست و فقط با کلون کردن مخزن و اجرای داکر شروع می‌شه:

نکات کلیدی:

• Jailbreaker یه ابزار متن‌باز برای تست ساختاریافتهٔ جیل‌بریک، پرامپت‌اینجکشن و رفتار ایجنت‌های هوش مصنوعیه
• سه نقش مدل هدف، مهاجم و داور رو جدا مدیریت می‌کنه و پروفایل مدل‌ها قابل ذخیره‌ست
• یه رجیستری از تکنیک‌های شناخته‌شده و صفحهٔ آزمایش‌های ماتریسی برای مقایسهٔ نتایج داره
• بر خلاف فریم‌ورک‌هایی مثل PyRIT، تمرکزش روی یه ورک‌فلوی آمادهٔ استفاده‌ست، نه ساخت اتوماسیون سفارشی