‏Fern؛ اولین مدل Mirendil با کانتکست ۱۰ میلیون توکنی

Mirendil اولین مدلش به اسم Fern رو معرفی کرده. این مدل از صفر pretrain شده و context window (یعنی مقدار متنی که مدل یک‌جا می‌تونه ببینه و روش فکر کنه) تا ۱۰ میلیون توکن داره. نسخهٔ اول، Fern 0.1، همون مدل پایهٔ Mirendil-Base هست که یه دور کوتاه post-training (یعنی آموزش تکمیلی بعد از آموزش اصلی) روش انجام شده. اندازه‌ش بین ۰.۱ تا ۰.۵ تریلیون پارامتره و ورودیش متن و کده.

به گفتهٔ تیم Mirendil، توان یه مدل زبانی با compute بیشتر بالا می‌ره و دو راه برای خرج کردنش هست: پارامتر بیشتر یا کانتکست طولانی‌تر. پارامتر بیشتر یعنی دانش ثابت بیشتر و استدلال پیچیده‌تر؛ کانتکست بیشتر یعنی مدل می‌تونه اطلاعات خود همون کار رو بیشتر ببینه: دستورها، سندها، کد و داده‌ها. شعارشون اینه که «کانتکست یعنی هوش».

۱۰ میلیون توکن حدود ۲۳ مگابایت کده؛ یعنی تقریباً نصف میلیون خط، در حد کل کتابخونهٔ Megatron-LM، یا ده‌ها تا صدها trace کامل از کار ایجنت‌ها (یعنی لاگ قدم‌به‌قدم کارهایی که ایجنت کرده). تیم می‌گه نشون داده کانتکست بیشتر حتی تو next-token prediction هم کمک می‌کنه و مدل رو با بنچمارک RULER برای دسترسی واقعی به کانتکست طولانی تست کرده. نتایج کامل‌تر رو بعداً منتشر می‌کنن.

Fern برای کارهای ایجنتی پرتعداد کسایی ساخته شده که خودشون دارن AI می‌سازن. مثلاً تو کدبیس‌های بزرگ کار می‌کنه، دستور اجرا می‌کنه و تا پاس شدن تست‌ها ادامه می‌ده، لاگ‌های طولانی یه training run رو می‌خونه تا بفهمه کجا خراب شده، و یه shard کامل از دادهٔ pretraining رو برای تکراری‌ها، آلودگی بنچمارک و دادهٔ بی‌کیفیت بررسی می‌کنه.

دو مدل بزرگ‌تر هم تو راهه: یکی بر پایهٔ Mirendil-Base-Large با ۰.۵ تا ۲ تریلیون پارامتر که بیشتر از ۸۰ درصد pretrainingش تموم شده، و قوی‌ترینشون بر پایهٔ Mirendil-Base-XL با ۲ تا ۱۰ تریلیون پارامتر که حدود ۲۰ درصد جلو رفته. دسترسی به Fern هنوز «به‌زودی» اعلام شده و فعلاً فقط می‌شه درخواست دسترسی زودهنگام داد.

نکات کلیدی:

• Fern 0.1 اولین مدل Mirendil هست، با ۰.۱ تا ۰.۵ تریلیون پارامتر.
• کانتکست تا ۱۰ میلیون توکن، یعنی حدود ۲۳ مگابایت یا نصف میلیون خط کد.
• مخصوص کارهای ایجنتی: کدنویسی، دیباگ از روی لاگ، تحلیل trace و بررسی دادهٔ آموزشی.
• دسترسی عمومی هنوز باز نشده و فقط درخواست early access ممکنه.
• دو مدل بزرگ‌تر با ۰.۵ تا ۲ و ۲ تا ۱۰ تریلیون پارامتر در حال pretraining هستن.