‏Muse Spark Open؛ مدل open-weight متا با ۸۱۶ میلیارد پارامتر

متا مدل Muse Spark Open رو به‌عنوان یه مدل open-weight (یعنی مدلی که فایل وزن‌هاش رو می‌شه دانلود کرد) منتشر کرده. این مدل قبلاً پرچمدار داخلی متا بود، ولی وقتی Muse Wonder اومد و جای اون رو گرفت، نسخه‌ی قبلی رو برای عموم آزاد کردن. به گفته‌ی مقاله این همون روشیه که خیلی از آزمایشگاه‌ها پیش می‌گیرن: مدل نسل قبل می‌شه هدیه‌ی حسن‌نیت به جامعه.

متا این مدل رو «قوی‌ترین مدل open-weight آمریکایی تا امروز» معرفی کرده. نویسنده می‌گه این ادعا عمداً محدوده، چون مدل‌های باز چینی مثل Qwen و DeepSeek روی بعضی بنچمارک‌ها ازش جلوترن. مدل در کل ۸۱۶ میلیارد پارامتر داره ولی هر بار فقط ۴۲ میلیاردش فعاله. دلیلش معماری mixture-of-experts هست، یعنی مدل از چند زیرشبکه‌ی متخصص ساخته شده و برای هر توکن فقط چندتاشون کار می‌کنن. ورودی تصویر و متن هم قبول می‌کنه.

مشکل اصلی سخت‌افزاره. با اینکه فقط ۴۲ میلیارد پارامتر فعاله، کل وزن‌ها باید تو حافظه باشن، چون router (بخشی که انتخاب می‌کنه کدوم expert کار کنه) هر لحظه ممکنه سراغ هر کدوم بره. نسخه‌ی فشرده‌ی FP4 حدود ۷۰۰ گیگابایت حافظه می‌خواد و نسخه‌های دقیق‌تر نزدیک ۲ ترابایت. یعنی هیچ کارت گرافیک خانگی‌ای جواب نمی‌ده.

برای همین متا با اپل همکاری کرده تا مدل روی Mac Studio با تراشه‌ی M5 Ultra بهینه بشه. حافظه‌ی یکپارچه‌ی Apple Silicon یعنی CPU و GPU از یه حافظه‌ی بزرگ مشترک استفاده می‌کنن، پس یه دستگاه تنها می‌تونه حافظه‌ی زیادی داشته باشه. با این حال نویسنده می‌گه حتی گرون‌ترین Mac Studio هم به اون ۷۰۰ گیگابایت نمی‌رسه، پس مخاطب واقعی آزمایشگاه‌ها و شرکت‌هایی هستن که سخت‌افزار جدی دارن.

به‌جای اجرای مستقیم، نویسنده چند راه واقعی‌تر پیشنهاد می‌ده: مدل‌های distill‌شده (یعنی مدل‌های کوچیک‌تری که یاد گرفتن رفتار این مدل رو تقلید کنن)، نسخه‌های فشرده‌تر جامعه با افت کیفیت، اجاره‌ی سرور ابری، یا استفاده از API مدل Muse Wonder. وزن‌ها روی Hugging Face زیر سازمان meta-models تو ۶۵ فایل safetensors هستن. دسترسی با تأیید دستیه و لایسنس هم مال خود متاست، نه Apache یا MIT. پس قبل از استفاده‌ی تجاری یا انتشار مدل مشتق‌شده باید لایسنس رو خوند.

نکات کلیدی:

• Muse Spark Open در کل ۸۱۶ میلیارد پارامتر داره و هر بار ۴۲ میلیاردش فعاله (816B-A42B).
• نسخه‌ی FP4 حدود ۷۰۰ گیگابایت و نسخه‌ی دقیق‌تر نزدیک ۲ ترابایت حافظه لازم داره.
• متا مدل رو برای Mac Studio با تراشه‌ی M5 Ultra بهینه کرده.
• دسترسی روی Hugging Face با تأیید دستیه و لایسنسش اختصاصی متاست، نه یه لایسنس آزاد کامل.
• ادعای «قوی‌ترین» فقط بین مدل‌های باز آمریکاییه و مدل‌های چینی مثل Qwen و DeepSeek هنوز رقیب جدی‌ان.