Eval-Driven Development: راهی برای بهتر کردن ایجنتهای AI
خلاصهٔ کاملتر
تو این پست از بلاگ LangChain، دیویا سانتانام روش eval-driven development یا EDD رو توضیح میده. مشکل از اینجا شروع میشه که توسعهی بیشتر ایجنتها با آزمون و خطای دستی جلو میره: پرامپت مینویسی، چند تا سؤال امتحان میکنی و درستش میکنی. اوایل جواب میده، ولی کمکم نمیفهمی آخرین تغییرت ایجنت رو بهتر کرده یا بدتر.
EDD از TDD الهام گرفته، ولی ایجنتها non-deterministic هستن؛ یعنی یه سؤال هر بار ممکنه جواب متفاوتی بگیره، چند جواب مختلف میتونن درست باشن، و ایجنت خودش مراحل کار رو انتخاب میکنه. برای همین به جای تست معمولی از eval استفاده میشه، یعنی امتیاز دادن به اجراهای ایجنت روی یه مجموعه مثال. این امتیاز رو میشه با کد یا با یه LLM دیگه داد که بهش LLM-as-a-judge میگن.
روش سه مرحله داره. اول تعریف کن رفتار خوب چیه، اونم برای یه رفتار در هر بار. مثال مقاله یه ایجنت مستندات داخلیه که ابزارهای search_docs و web_search داره و قراره ابزار create_ticket بهش اضافه بشه. اسپک میگه وقتی کاربر خرابی گزارش میده تیکت بزن، ولی برای سؤالهای «چطوری…» تیکت نزن، و دو ابزار قبلی هم باید مثل قبل کار کنن.
دوم قبل از ساختن، eval رو بنویس. یه dataset بساز (بهترین منبعش اجراهای واقعی کاربرهاست)، یه evaluator انتخاب کن و یه اجرای baseline بگیر. اینجا چون فقط انتخاب ابزار مهمه، یه چک سادهی کدی کافیه. برای ایجنتهایی که تو یه محیط تغییر ایجاد میکنن، مثل ایجنت کدنویسی، نویسنده فریمورک متنباز Harbor رو معرفی میکنه که هر تسک رو تو sandbox جدا اجرا میکنه و وضعیت نهایی رو با یه اسکریپت تست میسنجه.
سوم تغییر رو بده و مقایسه کن. تو مثال مقاله، بعد از اضافه شدن ابزار، میانگین امتیاز بالا رفت ولی سؤال «How do I connect to the VPN?» هم تیکت زد. trace نشون داد توضیح ابزار گفته بود برای «مشکلات VPN و لپتاپ» ازش استفاده کن. با محدود کردن اون توضیح همهی مثالها پاس شدن. نویسنده هشدار میده که ۱۰۰ درصد همیشه هدف درستی نیست و ممکنه overfit بشی؛ پس یه مجموعهی held-out (یعنی مثالهایی که موقع تنظیم بهشون نگاه نمیکنی) نگه دار.
به گفتهی مقاله، EDD باید بعد از انتشار هم ادامه پیدا کنه: چکهای سریع روی هر PR، evalهای سنگینتر شبانه، و ارزیابی آنلاین روی ترافیک واقعی که خطاهاش به dataset اضافه میشن. اشتباههای رایج هم ایناست: تعریف مبهم موفقیت، نوشتن eval بعد از فیکس، نگاه کردن فقط به میانگین، و اعتماد به یه LLM judge که با نظر آدمها مقایسه نشده.
نکات کلیدی:
- EDD سه مرحله داره: تعریف رفتار خوب، نوشتن eval قبل از ساخت، و مقایسهی آزمایشها
- اسپک هر رفتار باید شامل کار درست، کار ممنوع و رفتارهایی که نباید خراب بشن باشه
- بالا رفتن میانگین امتیاز میتونه پسرفت تو یه مثال خاص رو پنهون کنه
- Harbor فریمورک پشت بنچمارک Terminal-Bench هست و هر تسک رو تو sandbox جدا اجرا میکنه
- برای LLM judge سؤالهای دقیق و امتیاز pass/fail بهتر از مقیاس ۱ تا ۱۰ هست




