ارزیابی ایجنت‌ها در محیط واقعی؛ جواب درست کافی نیست
هوش مصنوعیخلاصهٔ کامل‌تر
این مطلب گزارشی از گفت‌وگوی پادکست Zero-Shot Learning با آدارش هیرمات، هم‌بنیان‌گذار و مدیرعامل Mercor هست؛ شرکتی که کارش سازمان‌دهی تخصص انسانی برای آموزش هوش مصنوعیه و مجموعه بنچمارک APEX رو ساخته تا بسنجه مدل‌ها و ایجنت‌های مرزی می‌تونن کار اقتصادیِ واقعاً ارزشمند انجام بدن یا نه.
به گفتهٔ هیرمات، اشتباه رایج اینه که تیم‌ها بدون فکر کردن به اینکه ایجنت واقعاً با کاربرد مشخصشون کالیبره شده یا نه، اون رو وارد محیط واقعی می‌کنن. ایراد ریشه‌ای هم اینه که موفقیت فقط با درستی نتیجه سنجیده میشه، نه با نحوهٔ رسیدن به اون: «ممکنه مدلی همون بار اول جواب درست بده، ولی در تمام مسیر تصمیم‌های غلط گرفته باشه» — و همین ایجنت در یک بافت کمی متفاوت کاملاً می‌شکنه.
موضوع تقلب مدل‌ها در آزمون هم کار رو سخت‌تر می‌کنه. نمونه‌ش اینه که OpenAI در بهمن ۱۴۰۴ اعلام گزارش نمرات SWE-bench Verified رو کنار گذاشت، چون معلوم شد مدل‌های مرزی می‌تونن پاسخ‌های آزمون رو عیناً بازتولید کنن؛ آزمون از مخزن‌های متن‌بازی ساخته شده بود که خودشون بخشی از دادهٔ آموزش بودن، پس مدل‌ها جواب رو به یاد می‌آوردن نه اینکه حلش کنن.
نتیجه‌گیری مطلب اینه که یک مجموعهٔ ارزیابی در سطح تولید باید سه چیز رو هم‌زمان بسنجه: خودِ وظیفه (آیا ایجنت روی مسئلهٔ درستی کار می‌کنه)، مسیر طی‌شده (چطور به نتیجه رسید) و خروجی (آیا موفق شد). چون ایجنت‌ها با هر به‌روزرسانی مدل، هر بازنویسی پرامپت و حتی با ورودی کاربر در زمان اجرا تغییر می‌کنن، این سنجش باید پیوسته باشه. به تعبیر هیرمات، سرمایه‌گذاری روی ارزیابی یک هزینهٔ یک‌باره نیست، یک سرمایه‌گذاری زنده‌ست — درست مثل تست‌هایی که برای یک قابلیت جدید می‌نویسی و با تغییر اون به‌روزشون می‌کنی.
آمار هم فاصله رو نشون می‌ده: طبق نظرسنجی وضعیت مهندسی ایجنتِ LangChain، فقط ۳۷٪ پاسخ‌دهنده‌ها عملکرد ایجنت رو با ارزیابی برخط در محیط واقعی پایش می‌کنن و ۲۲٫۸٪ از سازمان‌هایی که ایجنت در تولید دارن، هیچ ارزیابی رسمی‌ای اجرا نمی‌کنن. یعنی بیشتر تیم‌ها روی رصد و ردیابی پس از وقوع سرمایه‌گذاری کردن، نه روی گرفتن مشکل پیش از انحراف رفتار.
برای استقرار ایمن، هیرمات یک مدل مرحله‌ای پیشنهاد می‌ده که دامنهٔ شکست رو در هر قدم محدود نگه می‌داره: اول در نقش دستیار شخصی که شکستش فقط یک نفر رو درگیر می‌کنه، بعد اتصال به ابزارها در محیط ایزوله و بدون دادهٔ واقعی، بعد اجرای مجموعه ارزیابی برای فشار آوردن به ایجنت، بعد آزمون با کاربران واقعی ولی همچنان بدون دادهٔ واقعی، و در نهایت انتشار مرحله‌ای.
بخش پایانی گفت‌وگو به احراز هویت ایجنت‌ها می‌رسه. حساب‌های سرویس و اعتبارنامه‌های ماشینی معمولاً برخلاف کاربران انسانی با اصل کمترین دسترسی ساخته نمی‌شن، اغلب مجوزهای گسترده می‌گیرن و بعد از تمام شدن کارشون هم فعال باقی می‌مونن. چون این هویت‌ها با توکن‌های بلندعمر احراز هویت می‌کنن، رویداد نشست و ردپای ممیزی‌ای که تیم امنیت رصد می‌کنه هم تولید نمی‌شه.
نکات کلیدی:
- سنجیدن فقط درستی خروجی کافی نیست؛ مسیر تصمیم‌گیری ایجنت هم باید ارزیابی بشه
- ارزیابی باید زنده و پیوسته باشه چون مدل، پرامپت و ورودی کاربر مدام تغییر می‌کنن
- آلودگی دادهٔ آموزشی می‌تونه بنچمارک رو بی‌اعتبار کنه؛ نمونه‌ش کنار گذاشتن SWE-bench Verified توسط OpenAI
- فقط ۳۷٪ تیم‌ها ارزیابی برخط دارن و ۲۲٫۸٪ سازمان‌های دارای ایجنت در تولید هیچ ارزیابی رسمی ندارن
- استقرار امن یعنی مسیر مرحله‌ای: از دستیار تک‌کاربره تا انتشار عمومی، با ارزیابی در هر گام
- هویت‌های غیرانسانی با مجوز گسترده و توکن بلندعمر، نقطهٔ ضعف امنیتی بعدی‌ان
