‏Kolibri؛ مدل اوپن‌ویت آلمانی با کانتکست یک میلیون توکنی

Aleph Alpha مدل Kolibri رو منتشر کرده؛ یه مدل دوزبانهٔ انگلیسی و آلمانی که برای کارهای حساس دولتی و صنایع تحت نظارت ساخته شده. وزن‌های کاملش با لایسنس Apache 2.0 روی Hugging Face هست. یعنی سازمان‌ها می‌تونن مدل رو روی سرور خودشون اجرا کنن و لازم نیست داده‌هاشونو برای یه سرویس بیرونی بفرستن.

Kolibri یه مدل Mixture-of-Experts هست (یعنی برای هر توکن فقط چند تا از زیرشبکه‌ها فعال می‌شن). کلاً ۷۸.۱ میلیارد پارامتر داره ولی برای هر توکن فقط ۳.۴۶ میلیارد پارامتر کار می‌کنه. ۳۸۴ تا expert داره که شش تاش هم‌زمان فعاله. برای کم کردن هزینهٔ اجرا، فقط ۱۰ لایه از ۵۰ لایه attention کامل دارن و بقیه از یه sliding window با ۵۱۲ توکن استفاده می‌کنن.

آموزش روی ۷۶۸ تا GPU مدل B200 انجام شده: اول ۲۰ تریلیون توکن طی ۲۱ روز، بعد مراحل تکمیلی، که در مجموع نزدیک ۲۴ تریلیون توکن می‌شه. آموزش کانتکست بلند تا ۲۵۶ هزار توکن پیش رفته، ولی تنظیماتی ارائه شده که مدل رو با ۱,۰۴۸,۵۷۶ توکن اجرا کنه. ۲۱.۳ درصد داده‌ها آلمانی بوده و tokenizer طوری طراحی شده که کلمه‌های ترکیبی آلمانی خراب نشن. مدل چهار سطح استدلال (none، low، medium، high) و tool calling هم داره.

تو بنچمارک‌های خود شرکت، Kolibri تو AIME 2025 نمرهٔ ۹۶.۹، تو LiveCodeBench v6 نمرهٔ ۸۵.۹ و تو BFCL v4 نمرهٔ ۶۱.۴ گرفته. Aleph Alpha می‌گه این مدل تو ریاضی، کد و کارهای ایجنتی با مدل‌هایی که تا چهار برابر پارامتر فعال بیشتر دارن برابری می‌کنه. البته این نتایج رو خود شرکت با ابزارهای خودش گرفته.

تمرکز اصلی روی grounding هست (یعنی جواب دادن فقط بر اساس مدرک موجود). مدل با روشی به اسم Merlin-Arthur آموزش دیده که بهش یاد می‌ده وقتی مدرک نیست، جواب نده. تو آزمون AA-Omniscience تو ۴۴ درصد موارد از جواب غلط دوری کرده؛ نسخهٔ قبلی فقط ۱۴.۸ درصد بود. مدل تو آلمان ساخته شده و تو آلمان و فنلاند آموزش دیده. اجراش هم با پکیج inference خود شرکت و یه پلاگین مخصوص vLLM انجام می‌شه.

نکات کلیدی:

• ۷۸.۱ میلیارد پارامتر کل و ۳.۴۶ میلیارد پارامتر فعال برای هر توکن
• کانتکست تا ۱,۰۴۸,۵۷۶ توکن با لایسنس Apache 2.0
• آموزش روی ۷۶۸ تا GPU مدل B200 با حدود ۲۴ تریلیون توکن
• نمرهٔ ۹۶.۹ تو AIME 2025 و ۸۵.۹ تو LiveCodeBench v6، با بنچمارک‌های خود شرکت
• دوری از جواب غلط تو ۴۴ درصد موارد AA-Omniscience، در برابر ۱۴.۸ درصد نسخهٔ قبلی