‏بنچمارک‌های تازه مدل بازمتن Agnes AI منتشر شد

Agnes AI مدل متن‌باز Agnes-3.0-Flash Preview رو روی Hugging Face منتشر کرده؛ یه مدل چندوجهی ۳۳ میلیارد پارامتری با لایسنس Apache 2.0 که تا الان حدود ۴۷۴ بار دانلود و ۱۳۰ لایک گرفته. این مدل از معماری هیبریدی استفاده می‌کنه، یعنی به‌جای اینکه همه لایه‌هاش اتنشن معمولی باشن، سه‌چهارمشون یه مکانیزم بازگشتی سبک‌تر دارن که حافظه‌شون با طولانی‌تر شدن ورودی زیاد نمی‌شه. همین معماریه که بهش اجازه می‌ده پنجره متنی ۲۶۲ هزار توکنی رو بدون نیاز به چند کارت گرافیک پشتیبانی کنه.

تو مخزن اولیه، این مدل بدون برچسب Preview منتشر شده بود که باعث اشتباه گرفتنش با مدل تولیدی Agnes 3.0 Flash تو سایت بنچمارک Artificial Analysis شد. Agnes AI بعداً کارت مدل رو اصلاح کرد و صراحتاً گفت این دو مدل یکی نیستن؛ نسخه API چک‌پوینت جدا و پنجره متنی یک‌میلیون توکنی داره و بنچمارک‌هاش به این نسخه بازمتن ربطی نداره.

تو بنچمارک IFBench که دنبال کردن دستورات رو می‌سنجه، این مدل نمره ۷۴.۲۰ گرفته؛ جلوتر از Qwen3.6-35B-A3B با ۶۴.۴ و Kimi K2.5 با ۴۳.۷، ولی عقب‌تر از Gemini 3.5 Flash با ۷۶.۳ و Qwen3.8 Flash Next با ۸۱.۳. تو GPQA Diamond هم که سؤالای علمی سطح دکتراست، نمره ۸۵.۰۵ گرفته که باز جلوتر از هم‌رده‌هاشه ولی از مدل‌های بزرگ‌تری مثل DeepSeek V4 Flash و Gemini 3.5 Flash عقبه.

همین الگو تو بنچمارک‌های دیگه مثل SciCode و AA-LCR هم تکرار می‌شه: این مدل همیشه از هم‌وزن‌های خودش مثل Qwen3.6-35B-A3B جلوتره، ولی به پای مدل‌های فرانتیر بزرگ‌تر نمی‌رسه. مثلاً تو AA-Omniscience که یه بنچمارک دانش عمومیه، فقط ۲۳ گرفته، در حالی که Gemini 3.5 Flash نمره ۵۱.۴ رو ثبت کرده. جمع‌بندی خود Agnes AI هم اینه که این مدل بیشتر یه گزینه قوی تو رده مدل‌های کوچیک تا متوسطه، نه یه رقیب برای فرانتیرهای بزرگ.

این مدل قابلیت تنظیم شدت استدلال (high، medium، low) و فراخوانی ابزار رو هم به‌صورت پیش‌فرض تو قالب چتش داره، و برای اجرا نیاز به یه GPU دیتاسنتری مثل H100 یا H200 و حدود ۶۶ گیگ فضای دیسک داره.

نکات کلیدی:

• Agnes-3.0-Flash Preview یه مدل بازمتن ۳۳ میلیارد پارامتریه که رو Hugging Face با لایسنس Apache 2.0 منتشر شده
• تو IFBench نمره ۷۴.۲۰ و تو GPQA Diamond نمره ۸۵.۰۵ گرفته، جلوتر از هم‌وزن‌هایی مثل Qwen3.6-35B-A3B
• از مدل‌های بزرگ‌تری مثل Gemini 3.5 Flash، Qwen3.8 Flash Next و MiniMax M3 عقب‌تره
• این چک‌پوینت با مدل تولیدی Agnes 3.0 Flash که پنجره متنی یک‌میلیون توکنی داره فرق داره
• انتشار اولیه بدون برچسب Preview باعث اشتباه گرفتنش با مدل تولیدی شده بود
• اجرا کردنش به یه GPU مثل H100 یا H200 و حدود ۶۶ گیگ فضای دیسک نیاز داره