‏Kolibri 1؛ مدل MoE آلمانی با context یک میلیون توکنی

Kolibri 1 یه مدل استدلالی از شرکت آلمانی Aleph Alpha هست که ۳ اکتبر ۲۰۲۶ با لایسنس Apache 2.0 منتشر شد. مدل از نوع MoE (mixture-of-experts) هست، یعنی کلی زیرشبکهٔ «متخصص» داره و برای هر توکن فقط چندتاشون فعال می‌شن. کل پارامترها ۷۸ میلیارده ولی برای هر توکن فقط ۳.۴۶ میلیارد فعاله. یعنی ظرفیت یه مدل بزرگ با هزینهٔ محاسبهٔ یه مدل کوچیک، با این شرط که کل ۷۸ گیگ وزن (با FP8) باید تو حافظه باشه.

معماری ۵۰ لایه داره با نسبت ۴ به ۱ بین sliding window attention (توجه فقط به یه پنجرهٔ محدود از توکن‌های قبلی) و grouped-query attention. هر لایه ۳۸۴ expert داره که ۱ expert مشترک و ۶ تا انتخابی برای هر توکن فعال می‌شن. وزن‌ها با فرمت float8_e4m3fn ذخیره شدن ولی embeddingها، LM head، لایه‌های نرمال‌سازی و router با bfloat16 موندن تا مدل پایدار بمونه.

آموزش اولیه روی ۲۰ تریلیون توکن بود: حدود ۶۲.۵٪ انگلیسی، ۲۳.۹٪ آلمانی و ۱۳.۶٪ کد. بعدش ۳.۴۴ تریلیون توکن mid-training و ۲۰۱ میلیارد توکن برای context بلند اضافه شد. طول دنباله از 16K به 64K و آخرش به 262,144 توکن رسید که context بومی مدله. چون positional encoding فقط تو لایه‌های sliding window اعمال می‌شه، Aleph Alpha می‌گه context رو می‌شه بدون ترفند گسترش داد. اونا تا ۱,۰۴۸,۵۷۶ توکن تست کردن، ولی برای کارهای حساس به سرعت پیشنهاد می‌کنن زیر 262K بمونی. آموزش روی ۷۶۸ تا GPU از نوع B200 انجام شد و فقط pre-training ۲۱ روز طول کشید.

محدود بودن به دو زبان یه انتخاب عمدیه. Aleph Alpha اسمش رو «عمق به‌جای گستردگی» گذاشته و یه tokenizer مخصوص ساختار کلمه‌های آلمانی ساخته، چون کلمه‌های ترکیبی بلند آلمانی با tokenizerهای معمولیِ انگلیسی‌محور خوب شکسته نمی‌شن. به گفتهٔ مقاله، برای یه شرکت اروپایی که دنبال صنایع تحت نظارت و بازار آلمانی‌زبانه، این انتخاب منطقیه.

حالت استدلال از طریق chat template کنترل می‌شه: با reasoning_effort روی low، medium یا high، یا خاموش کردنش با enable_thinking=false. فراخوانی ابزار هم به سبک Hermes هست و تو vLLM با پرچم --tool-call-parser kolibri1 فعال می‌شه. API هم سازگار با OpenAI هست، یعنی کد فعلی‌ت با تغییر کمی به یه سرور Kolibri شخصی وصل می‌شه.

کمترین سخت‌افزار لازم دو تا A100 80GB یا دو تا H100 هست، یا یه H200، B200 یا B300. مقاله اونو هم‌کلاس مدل‌هایی مثل GLM-4.7 Flash، Nemotron 3 Nano و Qwen3.5 می‌دونه. فرقش context یک میلیونی، تسلط به آلمانی و لایسنس کاملاً بازه. Aleph Alpha عضو GPAI Code of Practice اتحادیهٔ اروپا هم هست که برای رعایت EU AI Act مهمه.

نکات کلیدی:

• ۷۸ میلیارد پارامتر کل و ۳.۴۶ میلیارد پارامتر فعال برای هر توکن.
• context بومی 262,144 توکن و تست‌شده تا ۱,۰۴۸,۵۷۶ توکن.
• آموزش روی ۲۰ تریلیون توکن با حدود ۶۲.۵٪ انگلیسی و ۲۳.۹٪ آلمانی.
• وزن‌ها FP8 هستن و حداقل دو تا A100 80GB لازمه.
• لایسنس Apache 2.0 و API سازگار با OpenAI.