‏Epoch تست کرد: هوش مصنوعی هنوز نمی‌تونه جای کارمندهاش رو بگیره

تیم Epoch یه بنچمارک جدید به اسم Epoch Automation Reports ساخته: ۱۱ کار واقعی از کار روزمره‌ی خودشون، تو پنج دسته‌ی طراحی گرافیک، نوشتن Data Insight، ساخت Data Explorer، تحقیق درباره‌ی دیتاسنترهای AI و طراحی پژوهش. مدل‌ها با بالاترین تنظیم reasoning، تو harness خودشون (مثلاً GPT-6 Astra تو Codex و Claude Fable 5.1 تو Claude Code) و بدون دخالت آدم کار رو انجام دادن و یه نفر با rubric خروجی‌ها رو دستی نمره داده.

به گفته‌ی نویسنده‌ها، بنچمارک‌های معمول روی کارهایی تمرکز دارن که راحت چک می‌شن و ممکنه پیشرفت رو بیشتر از واقعیت نشون بدن. نتیجه اینه که Fable 5.1 و GPT-6 Astra تقریباً با هم اولن و تو بخش‌های مشخص مثل کدنویسی، تحلیل محاسباتی و حتی computer use (یعنی کار با رابط کاربری برنامه‌ها مثل یه آدم) خیلی قابل اعتمادن. حتی یه تسک طراحی رو حذف کردن، چون Fable 5.1 خروجی‌ای در حد کار خود Epoch داد.

مدل‌های open-weight عقب‌ترن و حتی تو کارهای ساده هم اشتباه می‌کنن. مثلاً Kimi K3 کل Data Insight‌اش رو روی یه فیلتر غلط ساخت: آمار رو از همه‌ی مقاله‌های arXiv گرفت، نه فقط فیزیک، و هیچ‌وقت چک نکرد. نویسنده‌ها می‌گن Kimi K3 تو شاخص ECI امتیاز ۱۵۸ داره و تقریباً هم‌سطح Grok 4.6 حساب می‌شه، ولی این فاصله‌ی واقعی رو نشون نمی‌ده.

مشکل اصلی مدل‌های جلوتر، قضاوته. با اینکه فایل Figma و کلی نمونه بهشون داده شد، سبک بصری ساده و سلیقه‌ی مخاطب Epoch رو یاد نگرفتن. Fable 5.1 خروجی‌هایی خیلی پرجزئیات ساخت و مثلاً badgeهای «A» و «B» رو از یه نمونه کپی کرد بدون اینکه بفهمه کِی معنی دارن. GPT-6 Astra هم برای Data Insight یه موضوع خیلی تخصصی فیزیک انتخاب کرد که به درد مخاطب عام نمی‌خورد.

تو طراحی پژوهش، مدل‌ها جهت‌های خوبی پیدا می‌کنن ولی آزمایش‌هاشون مبهمه. GPT-6 Astra تو آزمایش اولیه‌اش (pilot) سقف توکن رو ۴۰۹۶ گذاشته بود. این سقف ۶۱ تا از ۲۸۰ جواب رو قبل از اینکه مدل‌ها حتی یه ورودی انتخاب کنن قطع کرد. بعد که بودجه رو بالا برد، نتیجه رو به‌عنوان یه یافته‌ی مهم درباره‌ی «حساسیت به بودجه» گزارش کرد، در حالی که فقط خطای setup بود. یه نکته‌ی جالب دیگه هم اینه که سه مدل از شش تا روی داده‌ی نظرسنجی دقیقاً یه موضوع رو انتخاب کردن.

خود Epoch قبول داره که نمونه‌ها کمن، هر مدل فقط یه بار اجرا شده، نمره‌دهی تا حدی سلیقه‌ایه و تفاوت harnessها ممکنه روی نتیجه اثر بذاره. جمع‌بندی‌شون اینه که AI فعلاً، دست‌کم تو Epoch، نمی‌تونه جای کارمند رو بگیره و با اومدن مدل‌های جدید نتایج رو به‌روز می‌کنن.

نکات کلیدی:

• شش مدل روی ۱۱ تسک واقعی از پنج دسته‌ی کاری Epoch تست شدن.
• Claude Fable 5.1 و GPT-6 Astra تقریباً با هم اولن و تو کد و تحلیل داده قابل اعتمادن.
• Kimi K3 با امتیاز ECI برابر ۱۵۸ هم‌سطح Grok 4.6 دیده می‌شه، ولی تو کارهای پایه اشتباه واقعی داشت.
• بودجه‌ی ۴۰۹۶ توکنی تو آزمایش GPT-6 Astra، ۶۱ جواب از ۲۸۰ تا رو قطع کرد و خطا به‌عنوان یافته گزارش شد.
• سه مدل از شش تا روی داده‌ی نظرسنجی سراغ یه موضوع یکسان رفتن.
• هر مدل فقط یه بار اجرا شده و نمره‌ها رو یه نفر داده، پس اعداد نویز دارن.