‏Ling-3.1-flash: مدل MoE با ۵۶۰ میلیارد پارامتر و لایسنس MIT

Ling-3.1-flash مدل open-weight جدید InclusionAI و نسخهٔ ارتقایافتهٔ Ling-3.0-flash هست. ۵۶۰ میلیارد پارامتر داره ولی برای هر توکن فقط ۲۵ میلیاردش فعال می‌شه و context یک میلیون توکنی پشتیبانی می‌کنه. یه مدل hybrid reasoning هم هست، یعنی می‌شه «فکر کردن» طولانیش رو بسته به کار روشن یا خاموش کرد. تمرکزش روی کارهای ایجنتی واقعیه: کدنویسی، ترمینال، کارهای اداری، جستجو و tool calling.

طبق این مقاله، معماریش دو تا تصمیم جدا رو روی هم گذاشته. اول MoE (یعنی مدل کلی زیرشبکهٔ متخصص داره و هر توکن فقط به چندتاشون فرستاده می‌شه): ۵۱۲ expert مسیریابی‌شده، ۱ expert مشترک و ۸ expert فعال برای هر توکن. هر expert اندازهٔ میانی کوچیک ۱۲۸۰ داره، ولی ۴ لایهٔ dense با اندازهٔ ۱۰۲۴۰ نگه داشته شدن تا ظرفیتی بمونه که به مسیریابی وابسته نیست. نتیجه‌ش اینه که با وجود ۵۶۰B پارامتر، سرعت و پهنای باند حافظه رو همون ۲۵B فعال تعیین می‌کنه.

تصمیم دوم hybrid-linear attention هست. attention معمولی با طول ورودی به‌صورت مربعی گرون می‌شه و تو یک میلیون توکن گلوگاه اصلی می‌شه. برای همین مدل لایه‌های KDA (یه نوع linear attention که هزینه‌ش با طول ورودی خطی بالا می‌ره) رو با تعداد کمتری لایهٔ gated MLA (attention کامل با gating) به نسبت ۷ به ۱ ترکیب کرده: ۶۳ لایهٔ KDA و ۹ لایهٔ gated MLA. لایه‌های کامل کیفیتی رو که linear attention سر بازیابی دقیق از فاصلهٔ دور از دست می‌ده، جبران می‌کنن. ۶۴ head، hidden size برابر ۴۰۹۶ و vocabulary با ۱۵۷٬۱۸۴ توکن هم از مشخصات دیگه‌شه.

InclusionAI روی بنچمارک‌های عمومی مثل MMLU تمرکز نکرده و نتایجش رو روی GDPVal-AA V2.1 و HealthBench Professional (کار اداری و پزشکی)، FrontierSWE، SWE-bench Pro و Terminal-Bench 4.0 (مهندسی نرم‌افزار) و Automationbench، MCP-Atlas و SkillsBench (هماهنگی ایجنت‌ها) گزارش کرده. می‌گه مدل توی Claude Code، Kilo Code، Qwen Code، Hermes Agent و OpenClaw هم خوب کار می‌کنه. نویسنده تأکید می‌کنه که جدول عددی مقایسه با مدل‌های بسته مثل GPT یا Claude منتشر نشده و ادعاها فقط دربارهٔ عملکرد خوب روی این مجموعه‌هاست.

همراه مدل، LingCode هم معرفی شده: یه harness برای ایجنت کدنویسی روی ایجنت متن‌باز Pi، که برای جلسه‌های چندساعته با صدها tool call و فشرده‌سازی مکرر context ساخته شده. InclusionAI می‌گه شاید متن‌بازش کنه. از نظر اجرا، به گفتهٔ نویسنده مدل برای توسعه‌دهنده‌های تکی عملی نیست: SGLang روی 8x H200 یا 4x GB300 جواب می‌ده، چون کل ۵۶۰B وزن باید توی حافظهٔ GPUها باشه. وزن‌ها با فرمت fp8 روی Hugging Face هستن و برای امتحان کردن، OpenRouter راه ساده‌تریه.

نکات کلیدی:

• ۵۶۰B پارامتر کل، ۲۵B پارامتر فعال برای هر توکن و context یک میلیون توکنی.
• ۶۳ لایهٔ KDA و ۹ لایهٔ gated MLA به نسبت ۷ به ۱ برای کم کردن هزینهٔ attention روی ورودی طولانی.
• ۵۱۲ expert مسیریابی‌شده، ۱ expert مشترک و ۸ expert فعال برای هر توکن.
• لایسنس MIT با وزن‌های fp8 روی Hugging Face؛ استفادهٔ تجاری آزاده.
• پشتیبانی روز اول در SGLang با MTP speculative decoding و حدود ۱۰٪ سرعت بیشتر روی Hopper با batch 1.
• مقایسهٔ عددی با مدل‌های بسته مثل GPT یا Claude منتشر نشده.