‏Kolibri-1 با کدوم مدل‌ها مقایسه می‌شه؟

Kolibri-1 یه مدل استدلالی open-weight از شرکت آلمانی Aleph Alpha هست که با لایسنس Apache 2.0 منتشر شده. معماریش MoE هست (یعنی مدل پر از زیرشبکه‌های «متخصص»ه و برای هر توکن فقط چندتاشون روشن می‌شن). کل پارامترها ۷۸ میلیارده، ولی برای هر توکن فقط ۳.۴۶ میلیاردش فعال می‌شه. تو این مقاله اومده که همین عدد تعیین می‌کنه رقبای واقعیش کی‌ان.

Aleph Alpha جدول‌هاش رو بر اساس پارامتر فعال دسته‌بندی کرده، نه کل پارامتر. تو رده‌ی ۳ میلیارد فعال، رقبای مستقیم Qwen3.5 35B-A3B، GLM-4.7 Flash 30B-A3B و Nemotron 3 Nano 30B-A3B هستن. یه ستون هم به اسم Kolibri Origin هست که به نظر می‌رسه یه نسخه‌ی داخلی قبلی باشه. بعدش گروه‌های ۴ تا ۶ میلیارد و ۱۲ میلیارد فعال میان، و آخر سر مدل‌های dense ۲۷ و ۷۰ میلیاردی.

نکته اینجاست که مدل‌های dense خاکستری شدن. بهترین عدد هر ردیف بولد شده، ولی بهترین عدد بین مدل‌های MoE هر گروه جدا زیرش خط خورده. نویسنده می‌گه این روش منطقیه، چون یه مدل dense با امتیاز مشابه ممکنه ۱۰ یا ۲۰ برابر پارامتر بیشتری برای هر توکن خرج کنه. یعنی اگه فقط لیدربوردهای قاطی رو نگاه کنی، مدل‌های MoE کوچیک ضعیف‌تر از چیزی که هستن به نظر میان.

از نظر معماری، مدل ۵۰ لایه داره و تو هر لایه ۳۸۴ expert هست (۱ مشترک و ۶ تا برای هر توکن انتخاب می‌شن). نسبت sliding-window attention (یعنی لایه‌هایی که فقط متن نزدیک رو می‌بینن) به grouped-query attention چهار به یکه. همین باعث می‌شه context طولانی گرون نشه. کانتکست بومی ۲۶۲,۱۴۴ توکنه و تا ۱,۰۴۸,۵۷۶ توکن هم تست شده، ولی برای کارهای حساس به تأخیر همون ۲۶۲ هزار پیشنهاد می‌شه.

وزن‌ها FP8 (float8_e4m3fn) هستن و KV cache هم FP8ـه، ولی embedding، LM head، لایه‌های normalization و router همچنان bfloat16 موندن. حافظه‌ی لازم حدود ۷۸ گیگابایته. داده‌ی آموزش ۲۰ تریلیون توکن بوده: ۶۲.۵٪ انگلیسی، ۲۳.۹٪ آلمانی و ۱۳.۶٪ کد. pretraining روی ۷۶۸ تا GPU مدل B200 حدود ۲۱ روز طول کشیده و مصرف انرژی کل مراحل اصلی حدود ۹۵۰ مگاوات‌ساعت تخمین زده شده.

نویسنده معتقده نقطه‌ی قوت اصلی، تمرکز روی آلمانیه: یه tokenizer مخصوص ساختار کلمات آلمانی ساختن. اگه کارت فقط انگلیسیه یا زبون‌های زیادی لازم داری، این مزیت به دردت نمی‌خوره. یه نکته هم اینکه داده‌های منتشرشده‌ی model card وسط جدول قطع شده، پس همه‌ی عددهای دقیق بنچمارک در دسترس نیست.

نکات کلیدی:

• Kolibri-1 از ۷۸ میلیارد پارامتر فقط ۳.۴۶ میلیارد رو برای هر توکن فعال می‌کنه.
• رقبای مستقیمش Qwen3.5 35B-A3B، GLM-4.7 Flash 30B-A3B و Nemotron 3 Nano 30B-A3B هستن.
• مدل‌های dense تو جدول خاکستری شدن و تو رقابت «بهترین گروه» حساب نمی‌شن.
• کانتکست بومی ۲۶۲,۱۴۴ توکنه و تا حدود ۱ میلیون توکن تست شده.
• داده‌ی آموزش ۲۰ تریلیون توکن بوده که ۲۳.۹٪ش آلمانیه.
• pretraining روی ۷۶۸ تا B200 حدود ۳۹۲ هزار GPU-hour طول کشیده.