LAB: بنچمارک متنباز هاروی برای ارزیابی عاملهای حقوقی
هوش مصنوعیخلاصهٔ کاملتر
هاروی — شرکت معروف در حوزه هوش مصنوعی حقوقی — یک بنچمارک متنباز به اسم LAB (Legal Agent Benchmark) منتشر کرده که هدفش اینه بتونیم بفهمیم عاملهای هوش مصنوعی تا چه حد میتونن کارهای واقعی وکالت رو انجام بدن. این بنچمارک نه برای تست سوالوجوابهای ساده حقوقی، بلکه برای تسکهای بلندمدت طراحی شده؛ یعنی کارهایی که یه وکیل تازهکار از یه شریک ارشد دریافت میکنه.
LAB شامل بیش از ۱۲۰۰ تسک در ۲۴ حوزه تخصصی حقوقی مثل M&A، قراردادها، و حقوق شرکتهاست. هر تسک با بیش از ۷۵ هزار معیار تخصصی ارزیابی میشه. ساختار هر تسک دقیقاً شبیه کار واقعی در یه شرکت حقوقی بزرگه: یه دستورالعمل کوتاه (به طور میانگین ۵۰ کلمه)، یه پرونده موکل با مجموعهای از اسناد، و یه خروجی قابل بررسی که عامل باید تحویل بده.
ساختار ارزیابی LAB چهار رکن داره:
- Instructions: دستور کار به سبک درخواست از شریک ارشد به وکیل تازهکار
- Environment: یه پرونده موکل با فایلهای مختلف که عامل باید بین اونا جستجو کنه
- Output: محصول حقوقی قابل بررسی که عامل تولید میکنه
- Verification: رابریکهای تخصصی که فرمت، واقعیتها، و تحلیل خروجی رو بررسی میکنن
یه نمونه تسک واقعی توی LAB اینه که از عامل خواسته میشه مفاد تغییر کنترل (change-of-control) رو در یه معامله فرضی خرید شرکت Crestview Software Solutions به ارزش ۴۵۸ میلیون دلار تحلیل کنه. عامل باید فایلهای سیستم رو کشف کنه، اسناد مرتبط رو شناسایی کنه، و تحلیل حقوقی آماده کنه — دقیقاً مثل یه وکیل واقعی.
هاروی این بنچمارک رو بدون لیدربورد منتشر کرده و گفته در هفتههای آینده با شرکای تحقیقاتی همکاری میکنه تا نتایج baseline مدلهای مختلف رو منتشر کنه. دلیلشم اینه که میخوان مطمئن بشن نتایج به شکل شفاف و بیطرفانهای ارائه میشن. این رویکرد یادآور مسیری هست که بنچمارکهای کدنویسی مثل SWE-Bench طی کردن؛ جایی که امتیازات بنچمارک دقیقاً پیش از اینکه مهندسا در عمل تحول رو حس کنن، جهش رو نشون دادن.
نکات کلیدی:
- LAB اولین بنچمارک جامع برای ارزیابی عاملهای هوش مصنوعی در تسکهای حقوقی بلندمدته
- بیش از ۱۲۰۰ تسک در ۲۴ حوزه حقوقی با ۷۵ هزار معیار تخصصی
- ساختار هر تسک دقیقاً شبیه کار واقعی در شرکتهای حقوقی بزرگه
- بدون لیدربورد منتشر شده؛ نتایج baseline به زودی منتشر میشه
- هدف اصلی اینه که شرکتهای حقوقی بفهمن کجا میتونن روی هوش مصنوعی حساب باز کنن و کجا باید انسان در حلقه بمونه
- کد و دادهها روی GitHub در دسترس عموم قرار گرفته
