Embla 1: مدل استدلالی که روی گوشی اجرا میشه
خلاصهٔ کاملتر
تیم Sevren تو این پست مدل Embla 1 رو معرفی کرده؛ یه مدل استدلالی (reasoning model، یعنی مدلی که قبل از جواب دادن قدمبهقدم فکر میکنه) که روی گوشی اجرا میشه. به گفتهٔ سازندهها، تو حالت ۴ بیتی میانگین امتیازش روی پنج بنچمارک BFCL، IFBench، AA-Omniscience، GPQA و MATH-500 برابر 57.4 هست و روی iPhone 18 Pro کل جواب رو تو 1.77 ثانیه برمیگردونه. آموزشش هم روی ۱۶ نود با ۸ تا H100 انجام شده.
معماری مدل ۳۲ لایه با عرض 2048 داره و از نوع Mixture of Experts هست، یعنی برای هر توکن فقط ۸ تا از ۹۶ «متخصص» بهعلاوهٔ یه متخصص مشترک فعال میشن. سه تا ایدهٔ اصلی پشتشه:
- Sevren Sparse Attention: لایههای full attention بهجای softmax از ReLU² استفاده میکنن. نتیجه اینه که حدود ۹۵٪ وزنهای attention دقیقاً صفر میشن و موقع تولید متن اصلاً سراغشون نمیره.
- کش K/V مشترک: لایههای sparse کش خودشون رو ندارن و از لایهٔ full attention قبلی میخونن. برای همین prefill (یعنی پردازش اولیهٔ پرامپت) لایههای ۱۶ تا ۳۱ رو رد میکنه.
- Engram: دو و سه توکن آخر هش میشن و تو یه جدول ۳ میلیارد پارامتری گشته میشن؛ نتیجه کنار embedding توکن بهعنوان ورودی دوم به همهٔ لایهها میره.
تقریباً همهٔ مراحل آموزش با distillation انجام شده، یعنی مدل کوچیک از روی خروجی یه مدل بزرگتر (اینجا Qwen3.5-35B-A3B) یاد میگیره. pretraining روی 1.4T توکن بوده، بعد 20B توکن برای رسوندن context به 256K، و بعدش SFT روی 123B توکن. تو ۲۰۰۰ قدم آخر SFT از QAT استفاده شده، یعنی مدل از همون موقع با فرمت ۴ بیتی گوشی آموزش میبینه تا بعداً با فشردهسازی کیفیتش نریزه. مراحل بعدی OPD، GRPO و MOPD بودن.
یه نکتهٔ جالب تو مرحلهٔ GRPO اینه که برای سؤالهای دانشی جواب درست ۱+، «نمیدونم» صفر و جواب غلط ۱- گرفته. یه جریمه هم برای تکرار بیجا اضافه شده و باعث شده سهم جوابهایی که به سقف 16K توکن میخوردن از 20.7٪ به 1.8٪ برسه. نتیجه اینه که Embla 1 بین مدلهای استدلالی تستشده کمترین توکن رو برای هر جواب مینویسه: میانگین 888 توکن، در مقابل 1,577 برای Gemma 4 E4B و 6,619 برای Qwen3.5-4B.
سازندهها خودشون صادقانه میگن که پنج تا از دوازده مدل امتیاز بالاتری گرفتن؛ مثلاً LFM2.5-8B-A1B 1.4 امتیاز جلوتره ولی ۲ برابر بیشتر طول میکشه، و بقیه ۲.۶ تا ۵.۳ امتیاز جلوترن با ۳ تا ۵.۵ برابر زمان. تو ریاضی هم عقبه: 76.1 روی MATH-500 در مقابل حدود ۹۰ برای مدلهای LFM2.5. اینها اندازهگیری خودشونه، روی یه گوشی و پنج بنچمارک، با خطای حدود ۱± امتیاز. وزنهای ۴ بیتی مدل روی Hugging Face منتشر شده.
نکات کلیدی:
- Embla 1 روی iPhone 18 Pro تو 1.77 ثانیه جواب کامل میده و میانگین امتیازش 57.4 هست.
- معماری: ۳۲ لایه MoE با ۸ از ۹۶ متخصص فعال برای هر توکن.
- حدود ۹۵٪ وزنهای attention با ReLU² صفر میشن و تو decode رد میشن.
- میانگین 888 توکن برای هر جواب، کمترین بین مدلهای استدلالی تستشده.
- نقطهضعف اصلی ریاضیه: 76.1 روی MATH-500.
- وزنهای ۴ بیتی روی Hugging Face در دسترسه.




