ATLAS؛ بنچمارک تازه Exa برای سنجش جست‌وجوی ایجنت‌ها
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Exa یه بنچمارک تازه به اسم ATLAS معرفی کرده که دقت و کامل بودن جواب ایجنت‌ها رو تو کارهای سنگین جست‌وجوی وب می‌سنجه. ATLAS شامل ۵۴۷ تسکه. هر تسک از ایجنت می‌خواد همه موجودیت‌هایی (مثل آدم، شرکت یا مکان) که یه شرط دقیق دارن رو پیدا کنه و برای هر کدوم ۲ تا ۱۰ ویژگی دربیاره. جواب نهایی یه جدوله که با یه جدول طلایی تأییدشده مقایسه میشه.
نویسنده‌ها می‌گن بنچمارک‌های معروف مثل BrowseComp، WideSearch و DeepSearchQA تقریباً نصفشون یا بیشتر توسط مدل‌های بزرگ حفظ شدن، یعنی مدل بدون جست‌وجو هم جوابو می‌دونه. WANDR از Perplexity هم با یه LLM نمره می‌ده که گرون و حساس به طراحی داوره. تو ATLAS هزینه نمره دادن هر جواب حدود ۰.۰۰۰۴ دلاره و ۱۵ ثانیه طول می‌کشه، در حالی که برای WANDR حدود ۰.۸۸ دلار و ۷.۶ دقیقه‌ست.
تسک‌ها از موضوع‌های واقعی جست‌وجوی کاربرها (به‌صورت ناشناس) ساخته می‌شن. یه کمیته از مدل‌ها و سرویس‌های جست‌وجو برای هر تسک به‌طور میانه ۸ ساعت کار ایجنتی و ۱۲۰۰ جست‌وجو انجام می‌دن تا جواب‌ها رو پیدا و تأیید کنن. برای اینکه جواب‌ها به نفع یه موتور جست‌وجو نباشه، ایجنت‌ها از یه ابزار خنثی استفاده می‌کنن که نتایج Exa، Brave و Perplexity رو بدون اسم قاطی می‌کنه. به گفته Exa کمتر از ۱٪ مقدارهای طلایی اشتباهه.
معیار اصلی row F1 هست، یعنی یه ردیف فقط وقتی درست حساب میشه که همه خونه‌هاش درست باشن. بهترین سیستم تست‌شده با ۸.۹۲ دلار و ۱۸ دقیقه برای هر تسک به ۰.۶۶ رسیده و هیچ سیستمی زیر ۱ دلار به ۰.۵ نرسیده. وقتی Exa کیفیت جست‌وجو رو عمداً خراب کرد (۷ تا از ۱۰ نتیجه اول رو پنهان کرد)، امتیاز ATLAS حدود نصف شد ولی تو بنچمارک‌های دیگه ۸۱ تا ۸۹٪ امتیاز باقی موند. یعنی اونا عملاً کیفیت جست‌وجو رو نمی‌سنجن.
Exa می‌گه تو چند هفته آینده تسک‌ها، جدول‌های طلایی و ابزار نمره‌دهی رو منتشر می‌کنه و قراره ATLAS رو هر ۳ تا ۶ ماه با داده‌های تازه دوباره بسازه. البته باید در نظر داشت که خود Exa سرویس جست‌وجو می‌فروشه و تو نتایج خودش می‌گه با harness ثابت، بهترین نسبت هزینه به کارایی مال Exa بوده.
نکات کلیدی:
- ATLAS شامل ۵۴۷ تسک تو بیش از ۳۰۰ موضوعه و ۷۴٪ تسک‌ها دنبال ۱۰ موجودیت یا بیشتر هستن.
- هیچ ایجنتی با هزینه کمتر از ۱ دلار برای هر تسک به row F1 بالای ۰.۵ نرسیده.
- بهترین نتیجه row F1 برابر ۰.۶۶ با ۸.۹۲ دلار و ۱۸ دقیقه برای هر تسک بوده.
- نمره دادن یه سیستم روی کل ۵۴۷ تسک حدود ۰.۲۴ دلار خرج داره.
- روی WideSearch یه ایجنت قوی تو ۴۸٪ تسک‌ها فقط به یه سایت ارجاع داده، تو ATLAS این عدد ۰.۲٪ بوده.
- Exa قراره بنچمارک رو هر ۳ تا ۶ ماه تازه کنه.
