‏mammoth-1 و elephant-1: بهترین مدل‌های تصمیم‌گیری دنیا

تیم Base Labs (از Baseten) دو مدل جدید به اسم mammoth-1 (۲۷B) و elephant-1 (۹B) منتشر کرده و ادعا می‌کنه این‌ها بهترین decision modelهای دنیا هستن. decision model یعنی مدلی که یه state (مثلاً یه تیکت پشتیبانی به شکل JSON) و چند سؤال می‌گیره و به جای تولید متن، برای هر گزینه یه احتمال برمی‌گردونه. سؤال‌ها سه نوع‌ان: Choice با ۱ تا ۲۵۵ گزینه، Yes/no، و Score با ۲ تا ۱۰ سطح.

فرقش با یه LLM معمولی اینه که لازم نیست جواب از دل متن تولیدشده parse بشه، چیزی generate نمی‌شه پس ارزون‌تره، و چون احتمال برمی‌گردونه می‌شه روش آستانه گذاشت. یعنی فقط وقتی مدل به اندازه‌ی کافی مطمئنه تصمیم بگیره و بقیه رو بفرسته برای آدم. پیشوند درخواست یه بار پردازش می‌شه و cacheش برای همه‌ی سؤال‌ها استفاده می‌شه، پس هر سؤال اضافه فقط یه forward pass روی بخش خودش هزینه داره.

از نظر معماری، تیم روی Qwen3.5 کار کرده که یه مدل ترکیبیه: تو هر واحد سه لایه‌ی Gated DeltaNet (بازگشتی و causal) و یه لایه‌ی full-attention هست. اون‌ها فقط ماسک ۱۶ لایه‌ی full-attention رو عوض کردن و گذاشتن block-bidirectional باشه، یعنی هر توکن کل بلوک خودش و بلوک‌های قبلی رو ببینه. نتیجه اینه که سؤال با خبر از گزینه‌هاش encode می‌شه. با داده‌ی ثابت، این تغییر امتیاز رو از ۴۴.۸ به ۴۸.۶ رسونده.

ولی به گفته‌ی نویسنده‌ها، بخش اصلی موفقیت از داده اومده. اون‌ها هشت نسخه از ترکیب داده ساختن و نسخه‌ی نهایی ۶.۲۱ میلیون نمونه داره: مهارت‌های پایه‌ی تصمیم‌گیری (۵۸.۳٪)، ایمنی و خودداری از جواب (۱۶.۱٪)، داوری و حوزه‌های تخصصی مثل حقوق و مالی و سلامت (۱۶.۱٪) و داده‌ی عمومی (۹.۵٪). فقط بزرگ کردن ۱۶ برابری داده امتیاز رو از ۴۵.۵ به ۶۶ رسوند و بعدش تمیز کردن داده ۷.۹ امتیاز دیگه اضافه کرد.

برای برچسب‌گذاری، یه پنل از پنج مدل داور گزینه‌ها رو جابه‌جا شده می‌بینه و برچسب فقط وقتی نگه داشته می‌شه که حداقل چهار تاشون موافق باشن. برای اینکه مدل یاد بگیره کِی بگه «نمی‌دونم»، به‌طور تصادفی گزینه‌ی «I don't know» اضافه و جواب درست حذف می‌شه. اگه احتمال جواب درست از یه آستانه‌ی کمی زیر ۰.۵ کمتر باشه، هدف می‌شه «نمی‌دونم». تابع loss هم cross-entropy به‌علاوه‌ی یه جمله‌ی Brier‌ه که جلوی اعتمادبه‌نفس بیش از حد رو می‌گیره.

در نتیجه mammoth-1 با امتیاز ۷۱.۲۴ تو Jev Decision Index 0.4 اول شده و ۱.۸ امتیاز از Perplexity Decider v1.2 جلوتره. elephant-1 با ۶۲.۶۵ بهترین مدل زیر ۱۵B هست و تو Artificial Analysis Decision Index با امتیاز ۶۵ با d1-ultra مساوی شده. تیم می‌گه همه‌ی این کار تو یه هفته انجام شده و قدم بعدی آموزش روی تصویر و ویدیو و خودکار کردن کامل حلقه‌ی داده‌ست.

نکات کلیدی:

• mammoth-1 (۲۷B) با امتیاز ۷۱.۲۴ از بین ۲۰۸ مدل تو Jev Decision Index 0.4 اول شده.
• elephant-1 (۹B) با امتیاز ۶۲.۶۵ قوی‌ترین مدل زیر ۱۵ میلیارد پارامتره.
• هر دو با fine-tune کامل Qwen3.5 روی ۶.۲۱ میلیون نمونه و یک epoch آموزش دیدن.
• ماسک block-bidirectional با داده‌ی ثابت امتیاز رو از ۴۴.۸ به ۴۸.۶ رسوند.
• بزرگ کردن داده امتیاز رو از ۴۵.۵ به ۶۶ و تمیز کردنش ۷.۹ امتیاز دیگه بالا برد.
• وزن‌های هر دو مدل روی Hugging Face منتشر شده.