‏Muse Wonder متا تو بنچمارک‌ها: کنار Opus 5.5 و GPT6 Astra

متا روز ۱۲ اکتبر Muse Wonder و نسخه‌ی بزرگ‌ترش Muse Wonder Full رو منتشر کرد. این اولین مدلیه که متا واقعاً به‌عنوان یه مدل frontier (یعنی هم‌رده‌ی قوی‌ترین مدل‌های بازار) معرفی می‌کنه. تو این مقاله اومده که این مدل تو چندتا بنچمارک کدنویسی و agentic از Claude Opus 5.5، GPT6 Astra و Fable 5.1 جلو زده یا هم‌سطحشونه، ولی برد کامل نیست.

قوی‌ترین نقطه‌ش کدنویسیه. تو Deep SWE 1.1 که کارهای مهندسی نرم‌افزار طولانی رو می‌سنجه، Muse Wonder Full به ۷۹٪ و Muse Wonder به ۷۸.۸٪ رسیدن، ولی Opus 5.5 روی ۷۴.۲٪ و GPT6 Astra روی ۷۴.۱٪ بودن. تو SWE Marathon فاصله بیشتره: ۵۷.۵٪ در برابر ۴۶.۳٪ برای Opus 5.5. ولی تو Terminal Bench (یعنی نوشتن و اجرای دستور تو ترمینال) همه تقریباً هم‌سطحن. به گفته‌ی نویسنده، این مدل هرجا کار طولانی و پرمرحله باشه بهتر عمل می‌کنه، چون متا اونو طوری آموزش داده که وقتی گیر می‌کنه ول نکنه.

تو ارزیابی مستقل Artificial Analysis که حدود ده تا تست رو ترکیب می‌کنه، Muse Wonder Full امتیاز ۵۶ گرفته، یعنی یه کم پشت Opus 5.5 با ۵۸ و هم‌سطح Claude Sonnet 5.5. نسخه‌ی کوچیک‌تر ۵۲ گرفته. تو شاخص مستقل Val هم Muse Wonder Full با ۶۴.۵۷٪ پنجم شده و از همه‌ی مدل‌های OpenAI جلوتره. یه نکته: نسخه‌ی Full فعلاً API عمومی نداره و فقط با اشتراک Muse Code در دسترسه.

متا یه بنچمارک خودش هم داره به اسم Personal Super Intelligence Index که کارهای شخصی و چندمرحله‌ای مثل برنامه‌ریزی، تحقیق و خرید رو می‌سنجه. اونجا Muse Wonder Full با ۵۹.۱٪ اوله. نویسنده می‌گه چون این بنچمارک ساخت خود متاست، بهتره فقط به‌عنوان یه نشونه نگاهش کرد، نه حکم قطعی.

نقطه‌ضعف اصلیش OS World هست، یعنی کنترل کامپیوتر و مرورگر. اونجا Opus 5.5 با ۸۱٪ اوله و Muse Wonder Full با ۷۸.۴٪ و نسخه‌ی کوچیک با ۷۲.۶٪ حتی پشت GPT6 Astra هستن. قیمت API هم ۴ دلار برای هر میلیون توکن ورودی و ۲۰ دلار برای خروجیه، تقریباً دو برابر GPT 6.1 Soul. تست‌کننده‌ها هم گفتن خروجی‌های سه‌بعدی و بازی‌هاش لرزش، تداخل و ایراد سایه داشتن.

سؤال اینه که آیا مدل «benchmaxed» شده، یعنی فقط برای امتیاز گرفتن تو تست‌ها آموزش دیده؟ متا سابقه داره: آوریل ۲۰۲۵ یه نسخه‌ی مخصوص Llama 4 Maverick رو به LMArena فرستاد. ولی به گفته‌ی نویسنده، نتایج Artificial Analysis و Val مستقلن و نمی‌شه راحت گفت متا خودش به خودش نمره داده.

نکات کلیدی:

• Muse Wonder Full تو Deep SWE 1.1 امتیاز ۷۹٪ گرفته، در برابر ۷۴.۲٪ برای Opus 5.5
• تو شاخص مستقل Artificial Analysis امتیازش ۵۶ هست و Opus 5.5 با ۵۸ هنوز جلوتره
• تو OS World (کنترل کامپیوتر) Opus 5.5 با ۸۱٪ اوله و Muse Wonder Full ۷۸.۴٪ گرفته
• قیمت API نسخه‌ی معمولی ۴ دلار ورودی و ۲۰ دلار خروجی برای هر میلیون توکنه
• Muse Wonder Full فقط از طریق اشتراک ۵۰ یا ۲۰۰ دلاری Muse Code در دسترسه
• امتیاز متا تو Artificial Analysis تو حدود شش ماه از ۳۱ (Muse Spark) به ۵۶ رسیده