سخت‌افزار لازم برای اجرای Agnes-3.0-Flash Preview چیه؟
هوش مصنوعیخلاصهٔ کامل‌تر
شرکت Agnes AI یه نسخه متن‌باز از مدلش به اسم Agnes-3.0-Flash Preview رو منتشر کرده؛ یه مدل چندوجهی (یعنی متن، عکس و ویدیو رو با هم می‌فهمه) با ۳۳ میلیارد پارامتر و لایسنس Apache 2.0. پنجره متنیش ۲۶۲ هزار توکنه و برای کارای استدلال، کدنویسی و دنبال کردن دستورات ساخته شده. نکته مهم اینه که این مدل با نسخه تولیدی Agnes 3.0 Flash که از طریق API عرضه میشه فرق داره؛ اون یکی چک‌پوینت جدا و پنجره متنی یک‌میلیون توکنی داره، پس بنچمارک‌های اون یکی رو نباید به این نسخه نسبت داد.
نکته جالب اینه که با وجود ۳۳ میلیارد پارامتر و پنجره متنی بزرگ، این مدل فقط رو یه کارت گرافیک دیتاسنتری اجرا میشه، نه یه خوشه چندتایی. حداقل سخت‌افزار لازم یه GPU از نوع NVIDIA H200 با ۱۴۱ گیگ حافظه یا H100 با ۸۰ گیگه، اون‌م با دقت bf16. حافظه رم سیستم هم بهتره حداقل ۱۲۸ گیگ باشه. حجم فایل‌های مدل رو دیسک هم حدود ۶۶ گیگابایته، پس برای دانلود و کش کردنش باید جا داشته باشی.
دلیل این سبکی، معماری hybrid-attention مدله (یعنی ترکیب دو جور مکانیزم توجه). از ۷۲ لایه مدل، ۵۴ تاش به جای اتنشن معمولی از یه مکانیزم بازگشتی به اسم gated delta rule استفاده می‌کنن که حافظه‌شون با طولانی‌تر شدن متن ورودی زیاد نمی‌شه، و فقط ۱۸ لایه باقی‌مونده کش KV (حافظه‌ای که با بلندتر شدن متن بزرگ‌تر میشه) رو نگه می‌دارن. همین نسبت سه‌به‌یک باعث میشه یه مدل با پنجره ۲۶۲ هزار توکنی بتونه رو یه کارت گرافیک جا بشه.
برای اجرای محلیش، ساده‌ترین راه استفاده از کتابخونه Transformers نسخه ۵.۱۲ به بالاست؛ چون این مدل کد سفارشی خودشو داره، باید موقع لود کردن trust_remote_code=True رو ست کنی:
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"Agnes-AI/Agnes-3.0-Flash",
dtype="bfloat16", device_map="auto", trust_remote_code=True
)برای استفاده جدی‌تر هم یه مسیر با SGLang و ایمیج داکر آماده هست که یه سرور سازگار با API اوپن‌ای‌آی بالا میاره. هم می‌تونی شدت استدلال مدل رو بین high، medium و low تنظیم کنی و هم فراخوانی ابزار و ورودی تصویر و ویدیو بدون کد اضافه کار می‌کنن.
اگه دنبال کنترل کامل رو دیپلویمنت و بدون وابستگی به API بیرونی هستی، این چک‌پوینت گزینه خوبیه، به شرطی که به یه H100 یا H200 دسترسی داشته باشی. اما اگه پنجره متنی یک‌میلیون توکنی یا سادگی استفاده بدون سخت‌افزار خاص می‌خوای، نسخه API همچنان گزینه دیگه‌ست.
نکات کلیدی:
- مدل بازمتن Agnes-3.0-Flash Preview با ۳۳ میلیارد پارامتر و لایسنس Apache 2.0 منتشر شده
- پنجره متنی ۲۶۲٬۱۴۴ توکنی و پشتیبانی از متن، عکس و ویدیو
- فقط با یه GPU از نوع H100 (۸۰ گیگ) یا H200 (۱۴۱ گیگ) و دقت bf16 قابل اجراست
- حجم دانلود مدل حدود ۶۶ گیگابایته و حداقل ۱۲۸ گیگ رم سیستم پیشنهاد شده
- از ۷۲ لایه مدل، ۵۴ تا بازگشتی (gated delta rule) و ۱۸ تا اتنشن معمولی هستن
- برای سرو کردن میشه از Transformers 5.12+ یا SGLang با داکر استفاده کرد
- این نسخه با مدل تولیدی API که پنجره یک‌میلیون توکنی داره فرق داره و بنچمارک‌هاشون قابل مقایسه نیست
