LHTB؛ بنچمارکی که مدلها ازش سربلند بیرون نمیان
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
تو معرفی این پروژه اومده که Long-Horizon Terminal-Bench یا همون LHTB یه بنچمارک ۴۶ تسکیه برای سنجش اینکه ایجنتهای الالام چقدر میتونن تو یه ترمینال داخل کانتینر، صدها قدم پشت سر هم کار مفید انجام بدن. برخلاف بنچمارکهای کوتاه کدنویسی که ایجنت یه خروجی میسازه و تموم، اینجا ایجنت وسط یه محیط stateful رها میشه و باید کل مسیر رو خودش ببره.
نمرهدهی با وریفایرهای مخفی انجام میشه که خروجی نهایی رو از روی همون آرتیفکت بازسازی میکنن؛ یعنی گزارش خود ایجنت از پیشرفتش هیچ ارزشی نداره. تسکها هم پراکندهن: بازی و پازل تعاملی، تحلیل مالتیمودال، مهندسی معکوس نرمافزار، محاسبات علمی، سیستمهای زمین و انرژی، امنیت و کارایی، بازتولید مقالههای پژوهشی و ورکفلوهای حرفهای سبک APEX.
تو اسنپشات جولای ۲۰۲۶، ۲۱ مدل فرانتیر با یه هارنس یکسان (Terminus-2) و بودجهٔ ۹۰ دقیقه برای هر تسک ارزیابی شدن. Grok 4.5 با میانگین پاداش ۰.۵۰۵ و ۱۳ تسک حلشده صدر جدوله، بعدش Claude Sonnet 5 با ۰.۴۹۷، Opus 4.8 با ۰.۴۹۲ و Claude Fable 5 با ۰.۴۸۷ و ۱۲ تسک حلشده. GPT-5.6-sol هم با ۰.۴۵۱ پنجمه.
نکتهٔ جالب گزارش اینه که توانایی پابهپای قیمت جلو نمیره. Grok 4.5 با حدود ۱۱ دلار به ازای هر تسک اوله، در حالی که Claude Fable 5 حدود ۷۳ دلار و Sonnet 5 حدود ۶۰ دلار برای هر تسک خرج برمیدارن. مدلهای ارزونتری مثل MiniMax M3 با ۶ دلار و Hy3 با ۲.۴۷ دلار هم نمرههای رقابتی گرفتن.
سختی بنچمارک هنوز جدیه: ۲۹ تسک از ۴۶ تا رو هیچ مدلی با معیار سختگیرانهٔ پاداش ۰.۹۵ به بالا حل نکرده و فقط ۱۷ تسک حداقل یه بار حل شدن. حدود ۵۵٪ کل اجراها هم زیر پاداش ۰.۲۵ موندن؛ یعنی ایجنتها معمولاً گیر میکنن، تو حلقه میافتن یا خیلی قبل از تمومشدن بودجه بیخیال میشن.
هر تسک همون ساختار پنجفایلی Terminal-Bench 2.0 رو داره — متادیتا، پرامپت ایجنت، محیط داکر، تست مخفی و راهحل مرجع — و اجرا هم با هارنس Harbor انجام میشه. دیتاست روی Hugging Face و مقاله روی arXiv منتشر شده و کل مخزن زیر لایسنس Apache 2.0 ـه.
نکات کلیدی:
- ۴۶ تسک ترمینالی طولانی با وریفایر مخفی؛ ادعای خود ایجنت قبول نیست
- بهترین مدل فقط حدود ۲۸٪ تسکها رو با معیار سختگیرانه میبنده
- ۲۹ تسک از ۴۶ تا برای همهٔ ۲۱ مدل حلنشده مونده
- گرونتر بودن مدل لزوماً نتیجهٔ بهتری نمیده
- تسکها، دیتاست و مقاله همه عمومی و متنبازن
