‏Muse Spark 1.3؛ وقتی نمرهٔ بنچمارک با واقعیت جور درنمیاد

Muse Spark 1.3 مدل تازهٔ متاست که همین هفته کنار Claude Fable 5.1 و Gemini 3.8 Flash و GPT6 بیرون اومد. روی کاغذ بهترین مدل کدنویسی بین همین‌هاست: تو بنچمارک DeepSWE نمرهٔ ۷۵.۴ درصد گرفته، بالاتر از Claude Opus 5 با حدود ۷۴، GPT6 با ۷۴.۱ و Gemini 3.8 Flash با ۷۳.۷. نویسنده اما یه نکته رو نشون می‌ده: خود نسخهٔ ۱.۳ اصلاً تو لیدربورد عمومی DeepSWE نیست و فقط نسخهٔ قبلی، ۱.۲، پایین‌تر تو جدول دیده می‌شه.

تو Artificial Analysis، یه بنچمارک ترکیبی که نمرهٔ چند تست مختلف رو با وزن‌های متفاوت قاطی می‌کنه، این مدل سوم شده: پشت Claude Opus 5 و Claude Fable 5.1، ولی جلوتر از GPT6 و با فاصلهٔ زیاد جلوتر از Gemini 3.8 Flash. هزینه‌اش هم حدود ۵۵ سنت برای هر تسک تخمین زده شده، تقریباً هم‌ردهٔ Gemini 3.8 Flash و خیلی ارزون‌تر از Fable 5.1 که هر تسکش ۳.۶۹ دلار درمیاد.

تست عملی اما داستان دیگه‌ای می‌گه. نویسنده از هر مدل خواسته یه کلون از یه بازی تیراندازی سادهٔ آرکید بسازه. GPT6 تو حدود ۱۲ دقیقه کامل‌ترین و خوش‌ساخت‌ترین نسخه رو با چند کلاس شخصیت (شوالیه، کماندار، جادوگر) تحویل داده و Fable 5.1 هم یه بازی کامل، ولی با حدود دو ساعت وقت و ۱۲۰ دلار اعتبار. Muse Spark 1.3 خروجی‌اش شد یه مکعب که به مکعب‌های دیگه شلیک می‌کنه؛ بدون شخصیت، بدون طراحی.

برای اینکه این فاصله از کجا میاد، نویسنده چند احتمال رو می‌ذاره وسط و هیچ‌کدوم رو هم قطعی نمی‌دونه: بنچمارکی مثل DeepSWE سراغ مسئله‌های باریک و الگوریتمی می‌ره که لزوماً به کدنویسی باز و از صفر تعمیم پیدا نمی‌کنه؛ احتمال آلودگی دادهٔ آموزش یا overfitting روی نمونه‌های شبیه بنچمارک؛ و اینکه یه بنچمارک ترکیبی می‌تونه با وزن دادن به تست‌های کم‌ربط، رتبهٔ کلی رو بالا بکشه.

یه نشونهٔ دیگه هم هست: تو Beauty Bench که تولید تصویر SVG رو با داوری یه مدل دیگه می‌سنجه، Muse Spark 1.3 بیستم شده، که خیلی بیشتر با نتیجهٔ تست عملی جور درمیاد تا با نمرهٔ DeepSWE. حرف آخر نویسنده اینه که لیدربورد نقطهٔ شروعه نه حکم نهایی؛ بهترین کار اینه که خودت یه تست کوچیک از جنس کار واقعی‌ات بگیری. برای کارهای سبک هم رایگان بودنش روی OpenRouter هنوز یه مزیت واقعیه.

نکات کلیدی:

• نمرهٔ ۷۵.۴ درصد در DeepSWE، بدون حضور نسخهٔ ۱.۳ در لیدربورد عمومی
• رتبهٔ سوم در Artificial Analysis با هزینهٔ حدود ۵۵ سنت برای هر تسک
• رتبهٔ بیستم در Beauty Bench، نزدیک‌تر به نتیجهٔ تست عملی
• در تست ساخت بازی، GPT6 در حدود ۱۲ دقیقه کامل‌ترین خروجی رو داد
• فعلاً روی OpenRouter رایگان در دسترسه