بلک‌ول انویدیا صدرنشین اولین بنچمارک هوش مصنوعی عامل‌محور
هوش مصنوعیخلاصهٔ کامل‌تر
شرکت Artificial Analysis یه بنچمارک تازه به اسم AgentPerf درآورده که به گفتهٔ خودشون اولین معیار سنجش مخصوص هوش مصنوعی عامل‌محور (agentic AI) تو صنعته. هدفش اینه که به توسعه‌دهنده‌ها و شرکت‌ها و ارائه‌دهنده‌های زیرساخت یه راه روشن بده تا سیستم‌هاشون رو برای کارهای ایجنتیک با هم مقایسه کنن. تو همین دور اول نتایج، پلتفرم Blackwell Ultra انویدیا صدر جدول رو گرفته.
نکتهٔ اصلی مقاله اینه که کار یه ایجنت کاملاً با چت معمولی فرق داره. یه چت ساده مثل دو قدم می‌مونه: یه فراخوانی مدل، یه جواب. ولی ایجنت بیشتر شبیه دوی امدادیه؛ یه هدف رو به چند مرحله می‌شکنه و تا تموم شدن کار ادامه می‌ده. این یعنی ده‌ها تا صدها فراخوانی مدل که پشت سر هم زنجیر می‌شن، هرکدوم کانتکست بزرگ‌تری رو به بعدی پاس می‌دن، و وسطش هم فراخوانی ابزار مثل کامپایل و اجرای کد، جست‌وجو تو دیتابیس و وبگردی هست. نویسنده می‌گه پیچیدگیش جمع‌شدنی نیست، ضرب‌شدنیه.
به گفتهٔ نویسنده همین فرق باعث میشه بنچمارک‌های قدیمی به درد نخورن، چون اونا فقط یه فراخوانی تکی رو می‌سنجن: مدل چقدر سریع به یه درخواست جواب می‌ده و سیستم چند تا درخواست همزمان رو می‌تونه تحمل کنه. این معیارها برای بار کاری ایجنتیک که فراخوانی‌های زنجیره‌ای و تأخیر ابزار و کانتکست روبه‌رشد داره طراحی نشده بودن.
تو این دور AgentPerf با مدل DeepSeek V4 Pro که یه مدل بزرگ از نوع mixture-of-experts هست عملکرد رو می‌سنجه. رو این بار کاری، سیستم GB300 NVL72 انویدیا بالاترین عملکرد رو داشته و تا ۲۰ برابر بیشتر از سیستم HGX H200 با هر مگاوات برق ایجنت اجرا کرده. این برتری از هم‌طراحی کامل کل استک میاد: NVL72 تعداد ۷۲ تا GPU رو تو یه سیستم تو مقیاس رک به هم وصل می‌کنه تا مدل‌های بزرگ MoE بتونن اجرا رو بین expertها پخش کنن، کرنل‌های CUDA ارتباط و محاسبه رو با هم هم‌پوشانی می‌کنن، و TensorRT LLM هم پردازش ورودی رو از تولید خروجی جدا می‌کنه تا هرکدوم جدا بهینه بشن.
نویسنده می‌گه روش‌شناسی AgentPerf از پایه بر اساس مسیرهای واقعی ایجنت‌های کدنویسی ساخته شده: یه ایجنت یه تسک می‌گیره، فایل‌ها رو می‌خونه، کد می‌نویسه و ادیت می‌کنه، دستور اجرا می‌کنه و بر اساس نتایج تکرار می‌کنه؛ همهٔ اینا از ریپازیتوری‌های عمومی واقعی تو بیش از ۱۲ زبان برنامه‌نویسی برداشته شده. خود فراخوانی ابزارها اجرا نمی‌شن بلکه با یه زمان پردازش CPU نماینده شبیه‌سازی می‌شن تا تفاوت نتایج فقط عملکرد سخت‌افزار رو نشون بده.
به گفتهٔ مقاله، ارائه‌دهنده‌های بزرگ inference مثل Baseten و DeepInfra و Together AI همین الان دارن بار کاری ایجنتیک رو روی Blackwell سرو می‌کنن. مثلاً Together AI اینفرنس بلادرنگ پلتفرم کدنویسی Cursor رو روی Blackwell پیش می‌بره. نویسنده آخرش می‌گه با ادامهٔ بهینه‌سازی نرم‌افزار، عملکرد و بهره‌وری بهتر هم میشه و معماری بعدی یعنی Vera Rubin هم الان به‌طور کامل تو تولیده.
نکات کلیدی:
- AgentPerf اولین بنچمارک مخصوص هوش مصنوعی عامل‌محوره و زنجیره‌ای از فراخوانی‌های مدل و ابزار رو می‌سنجه، نه یه درخواست تکی
- پلتفرم GB300 NVL72 انویدیا با هر مگاوات تا ۲۰ برابر بیشتر از HGX H200 ایجنت اجرا می‌کنه
- این بنچمارک از مدل DeepSeek V4 Pro و مسیرهای واقعی ایجنت‌های کدنویسی تو بیش از ۱۲ زبان استفاده می‌کنه
- برتری عملکرد از هم‌طراحی کل استک میاد: اتصال ۷۲ GPU، کرنل‌های CUDA و TensorRT LLM
