‏Kolibri-1؛ مدل متن‌باز آلمانی Aleph Alpha

Kolibri-1 مدل زبانی open-weight شرکت آلمانی Aleph Alpha هست که ۳ اکتبر ۲۰۲۶ با لایسنس Apache 2.0 منتشر شد. اسمش به آلمانی یعنی مرغ مگس‌خوار. این مدل فقط روی آلمانی و انگلیسی تمرکز داره و ۷۸ میلیارد پارامتر داره. ولی چون معماریش MoE هست (یعنی برای هر توکن فقط چندتا از زیرشبکه‌های متخصص روشن می‌شن)، هر توکن فقط حدود ۳.۴۶ میلیارد پارامتر مصرف می‌کنه.

مدل ۵۰ لایه داره و تو هر لایه ۳۸۴ expert هست: ۱ مشترک و ۶ تا که برای هر توکن انتخاب می‌شن. تو بخش attention، نسبت sliding-window به grouped-query چهار به یکه. یعنی بیشتر لایه‌ها فقط متن نزدیک رو نگاه می‌کنن و چندتا لایه کل متن رو. همین کانتکست طولانی رو مقرون‌به‌صرفه می‌کنه. کیفیت تا ۱,۰۴۸,۵۷۶ توکن تأیید شده، ولی Aleph Alpha برای کارهای پیچیده یا حساس به تأخیر سقف ۲۶۲,۱۴۴ رو پیشنهاد می‌ده.

یه بخش جالب مقاله داستان Kolibri Origin هست؛ یه مدل داخلی که هیچ‌وقت منتشر نشد و فقط برای پیدا کردن باگ‌های pipeline آموزش ساخته شد. تو حدود سه ماه، کل پارامترها از ۳۰ به ۷۸ میلیارد رسید، ولی پارامتر فعال فقط از ۳.۲۷ به ۳.۴۶ میلیارد رفت. داده‌ی آموزش از ۷.۵ به ۲۰ تریلیون توکن رسید و تعداد expertها هم از ۱۲۸ به ۳۸۴ سه برابر شد. نویسنده می‌گه این دقیقاً هدف MoE هست: مدل خیلی قوی‌تر می‌شه بدون اینکه اجراش خیلی گرون‌تر بشه.

وزن‌ها FP8 هستن و حدود ۷۸ گیگابایت جا می‌گیرن، ولی برای کانتکست و KV cache جای بیشتری لازمه. حداقل سخت‌افزار رسمی دوتا A100 80GB، دوتا H100 SXM5 یا یه H200/B200/B300 هست. تو یه تست مستقل روی سیستم دو GPU حدود ۱۴۰ گیگابایت VRAM مصرف شده. برای اجرا باید پکیج aleph-alpha-inference رو نصب کنی که یه plugin برای vLLM هست. تنظیمات پیشنهادی sampling هم temperature=1.0، top_p=0.97 و top_k=128 هست.

تو تست‌های یه یوتیوبر، مدل یه اسکریپت Python برای Blender نوشت که یه پارک ترامپولین کامل می‌ساخت، یه بازی سوم‌شخص Godot رو یه‌جا ساخت، و یه صحنه‌ی انیمیشنی تو یه فایل HTML با canvas رو تقریباً با همه‌ی جزئیات خواسته‌شده تحویل داد. تو یه تست آلمانی هم خروجی آلمانیش طبیعی‌تر و قوی‌تر از انگلیسیش بود.

به گفته‌ی نویسنده، Kolibri-1 برای تیم‌هایی که آلمانی خوب، لایسنس آزاد و استقلال از API می‌خوان گزینه‌ی خوبیه، به شرط اینکه بودجه‌ی GPU داشته باشن. یعنی برای اجرا روی سخت‌افزار خونگی مناسب نیست، ولی برای کارهای agentic و RAG دوزبانه به درد می‌خوره.

نکات کلیدی:

• Kolibri-1 در ۳ اکتبر ۲۰۲۶ با لایسنس Apache 2.0 منتشر شد.
• ۷۸ میلیارد پارامتر کل داره ولی فقط ۳.۴۶ میلیارد برای هر توکن فعاله.
• کانتکست تا ۱,۰۴۸,۵۷۶ توکن تست شده و سقف پیشنهادی ۲۶۲,۱۴۴ توکنه.
• داده‌ی آموزش ۲۰ تریلیون توکن آلمانی، انگلیسی و کد بوده.
• حداقل سخت‌افزار دوتا A100 80GB یا H100 هست و تو تست واقعی حدود ۱۴۰GB VRAM مصرف شد.
• اجراش با پکیج aleph-alpha-inference روی vLLM انجام می‌شه.