دو مدل زیر یک اسم: Agnes-3.0-Flash Preview با نسخه تولیدش فرق داره
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
شرکتهای هوش مصنوعی بعضی وقتا یه مدل رو متنباز منتشر میکنن و بعد یه نسخهی قویتر و بسته هم زیر همون اسم راه میندازن؛ دقیقاً همین اتفاق برای Agnes-3.0-Flash افتاده. اول این مدل بدون هیچ برچسبی به اسم Agnes-3.0-Flash منتشر شد، ولی بعد از اینکه نسخهی تولیدی (production) هم زیر همین اسم تو سایتهای رتبهبندی مثل Artificial Analysis ظاهر شد، سازندهها به مدل متنباز برچسب Preview اضافه کردن تا مشخص بشه این دو تا مدل جدا هستن، نه یه چیز.
فرق اصلی و ملموسشون اندازهی پنجرهی متنیه (context window؛ یعنی چقدر متن میتونه همزمان بخونه و پردازش کنه). نسخهی Preview که وزنهاش متنبازن، ۲۶۲ هزار و ۱۴۴ توکن پشتیبانی میکنه، در حالی که نسخهی تولیدی که فقط از طریق API در دسترسه، یک میلیون و ۴۸ هزار توکن رو پشتیبانی میکنه؛ یعنی تقریباً چهار برابر بیشتر. تعداد پارامترهای Preview مشخصه (۳۳ میلیارد)، ولی کارت مدل دربارهی معماری و تعداد پارامترهای نسخهی تولیدی چیزی نمیگه؛ فقط میگه checkpoint و تنظیمات متفاوتی داره.
معماری Preview یه طراحی ترکیبیه که بهش hybrid-attention میگن. از ۷۲ لایهی دیکودر، ۵۴ تاش از یه مکانیزم بازگشتی به اسم gated delta rule استفاده میکنن که حافظهش با طولانیتر شدن متن ورودی زیاد نمیشه، و فقط ۱۸ لایه از attention معمولی و سراسری استفاده میکنن که حافظهی KV cache-شون با طول متن رشد میکنه. نتیجهش اینه که یه مدل ۳۳ میلیاردی میتونه پنجرهی متنی ۲۶۲ هزار توکنی رو بدون انفجار مصرف حافظه مدیریت کنه.
اگه بخوای Preview رو خودت روی سرور خودت اجرا کنی، فایل مدل با دقت bf16 حدود ۶۶ گیگابایته و کارت مدل پیشنهاد میکنه از یه کارت گرافیک H200 (با ۱۴۱ گیگ حافظه) یا H100 (۸۰ گیگ) استفاده کنی، بههمراه حداقل ۱۲۸ گیگ رم. برای گرفتن حداکثر طول متن یا همزمانی بیشتر هم میتونی از تنظیم tensor parallelism با مقدار ۲ استفاده کنی.
نکات کلیدی:
- Agnes-3.0-Flash Preview متنباز و ۳۳ میلیارد پارامتریه با پنجرهی متنی ۲۶۲٬۱۴۴ توکن، تحت لایسنس Apache 2.0
- نسخهی تولیدی فقط از API در دسترسه، پنجرهی متنی یک میلیون توکنی داره و جزئیات معماریش منتشر نشده
- همهی نمرههای بنچمارک (IFBench، SciCode، GPQA Diamond و بقیه) فقط مال نسخهی Preview هستن، نه نسخهی تولیدی
- اجرای محلی Preview به یه GPU قوی مثل H100 یا H200 و حدود ۶۶ گیگ فضای دیسک نیاز داره
