نقشهٔ بنچمارک Mercor: بنچمارک‌های AI فقط بخش کوچیکی از کارهای واقعی رو می‌سنجن
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
شرکت Mercor یه Benchmark Map منتشر کرده که می‌خواد نشون بده بنچمارک‌های هوش مصنوعی چقدر از کارهای واقعی اقتصاد آمریکا رو می‌سنجن. پایه‌ش طبقه‌بندی O*NET وزارت کار آمریکاست (یعنی فهرستی از ۹۲۳ شغل و ۱۸٬۷۹۷ وظیفهٔ تعریف‌شده برای اون‌ها). طبق یافته‌هاشون فقط ۲۰۸ شغل از ۹۲۳ شغل حداقل یه وظیفه دارن که با دست‌کم ۵ پرامپت بنچمارک پوشش داده شده، و ۶ تا از ۲۲ خانوادهٔ شغلی اصلاً همچین شغلی ندارن.
حرف اصلی مقاله اینه که حدود ۹۰ درصد ساعت کاری آمریکایی‌ها صرف وظایفی میشه که بنچمارک‌های فعلی تقریباً پوششی براشون ندارن. پوشش هم تصادفی نیست. نویسنده‌ها می‌گن جامعهٔ AI اول سراغ بازارهای کار بزرگ رفته. مثلاً کارهای وکلا خیلی خوب پوشش داده شده، ولی کارهای منشی حقوقی یا کارمند دادگاه که اون‌ها هم در معرض AI هستن، تقریباً هیچ پوششی ندارن.
روش کار این‌طوری بوده: ۲۹ بنچمارک انتخاب شدن که عمومی باشن، کار ایجنتی (یعنی انجام دادن خود کار، نه فقط جواب دادن) بخوان، به کار واقعی شبیه باشن و هنوز اشباع نشده باشن. بعد یه LLM judge (یعنی یه مدل زبانی که نقش داور رو بازی می‌کنه) هر پرامپت رو به وظایف O*NET وصل کرده و این برچسب‌ها روی بنچمارک‌های APEX خود Mercor با برچسب متخصص‌های انسانی چک شده. نویسنده‌ها خودشون قبول دارن نتایج موقته و یه فهرست ناقص احتمالاً پوشش رو کمتر از واقعیت نشون می‌ده.
تو الگوها هم دیدن وظایفی که در معرض AI هستن حدود ۶ برابر بیشتر تو بنچمارک‌ها میان. حتی بعد از در نظر گرفتن این، شغل‌هایی که مجموع حقوقشون بیشتره سهم بیشتری دارن. مهم‌ترین وظایف هر شغل هم ۶ تا ۱۰ برابر بیشتر از کم‌اهمیت‌ترین‌ها پوشش داده شدن. نویسنده‌ها این اولویت‌بندی رو منطقی می‌دونن، ولی می‌گن اگه تعداد و تنوع بنچمارک‌ها بیشتر نشه، نقطه‌های کور بزرگی می‌مونه.
برای اینکه بفهمن AI تو یه شغل خاص چقدر خوبه، امتیازها رو طوری وزن دادن که هر وظیفهٔ O*NET سهم برابر داشته باشه. روی چهار شغل (بانکداری سرمایه‌گذاری، وکالت، حسابداری و مهندسی نرم‌افزار) نتیجه با میانگین ساده خیلی فرقی نکرد، چون کمتر از یک‌سوم وظایف این شغل‌ها پوشش کافی داشتن. چالش‌های باز هم کم نیستن: داده کمه، سختی و کیفیت آیتم‌ها فرق داره، بیشتر بنچمارک‌ها خودکارسازی رو می‌سنجن نه کمک به آدم، و طبق یه برآورد فقط ۳۷ درصد شغل‌ها کاملاً از خونه قابل انجامن.
نکات کلیدی:
- فقط ۲۰۸ شغل از ۹۲۳ شغل O*NET پوشش معنادار بنچمارکی دارن
- حدود ۹۰ درصد ساعت کاری آمریکا روی وظایفی می‌گذره که تقریباً بنچمارکی ندارن
- این نقشه بر اساس ۲۹ بنچمارک و ۹۲۴ وظیفهٔ پوشش‌داده‌شده از ۱۸٬۷۹۷ وظیفه ساخته شده
- وظایف در معرض AI حدود ۶ برابر بیشتر تو بنچمارک‌ها دیده می‌شن
- وزن‌دهی O*NET روی بنچمارک‌های APEX تقریباً همون نتیجهٔ میانگین ساده رو داد
- حدود ۶۳ درصد شغل‌ها بخش فیزیکی دارن که با بنچمارک‌های فعلی سنجیدنش سخته
