Maple-Preview؛ استدلال ۲۰ میلیاردی تو ۵ گیگ
هوش مصنوعیخلاصهٔ کاملتر
تو این مقاله اومده که Maple-Preview یه مدل استدلالی متنبازه که دیپگرو با لایسنس MIT بیرون داده. اسم «20B-A1B» یعنی مدل ۲۰ میلیارد پارامتر کل داره، ولی چون معماریش mixture-of-experts با ۲۵۶ متخصصه و هر بار فقط ۸ تاشون فعال میشن، برای هر توکن حدود ۱ میلیارد پارامتر واقعاً کار میکنه.
کلید ماجرا وزنهای ternary هست: هر پارامتر فقط یکی از سه مقدار تقریبی منفییک، صفر و یک رو میگیره و این کوانتیزهسازی از همون مرحلهٔ آموزش تو مدل تعبیه شده، نه اینکه بعداً روش اعمال بشه. نتیجهش یه چکپوینت ۵.۳۱ گیگابایتیه و محاسبات هر توکن هم خیلی ارزونتر درمیاد، چون ضرب در منفییک و صفر و یک بهمراتب سادهتر از ضرب ماتریسی اعشاریه.
معماری توجه هم همین مسیر رو کامل میکنه: تو ۲۴ لایه، نسبت ۳ به ۱ بین توجه پنجرهای (با پنجرهٔ ۵۱۲ توکنی) و توجه سراسری برقراره. پنجرهای بودن هزینهٔ دنبالکردن دنبالههای طولانی رو مهار میکنه و لایههای سراسری هم اجازه میدن مدل به کانتکست دور دسترسی داشته باشه؛ همین ترکیب پنجرهٔ کانتکست ۱۳۱٬۰۷۲ توکنی رو ممکن کرده.
به گفتهٔ دیپگرو این مدل روی مرز پارتوی حافظه/کارایی و سرعت/کارایی میشینه و تو بنچمارکهایی مثل AIME 2026، HMMT 2026، GPQA-D و LiveCodeBench v6 مقابل Gemma 4، Qwen3.5 و gpt-oss نتیجههای رقابتی میگیره. ولی خود دیپگرو تأکید میکنه این نسخه پیشنمایشه و آموزش agentic و یادگیری تقویتی عمومی خیلی کمی دیده، پس برای tool calling و ورکفلوهای چندمرحلهای گزینهٔ خوبی نیست.
یه نکتهٔ عملی که نویسنده روش دست میذاره اینه که پیادهسازی رسمی Transformers به Triton و FlashAttention وابستهست و برای CUDA نوشته شده؛ یعنی عدد ۲۱۸ توکن بر ثانیه از یه رانتایم on-device جدا میاد، نه از مسیر پیشفرض Hugging Face. اگه دنبال همین سرعت روی مک هستید، باید بیلد سازگار با Metal/MLX پیدا کنید.
نکات کلیدی:
- ۲۰ میلیارد پارامتر کل، حدود ۱ میلیارد فعال بهازای هر توکن (۸ متخصص از ۲۵۶ تا)
- چکپوینت ۵.۳۱ گیگابایتی به لطف وزنهای ternary، جا شدن کامل تو رم ۱۶ گیگی مکمینی M4
- ۲۱۸ توکن بر ثانیه روی مکمینی M4 طبق گزارش دیپگرو
- پنجرهٔ کانتکست ۱۳۱٬۰۷۲ توکنی با ترکیب ۳ به ۱ توجه پنجرهای و سراسری
- ضعف مشخص در کارهای agentic و tool use؛ نسخهٔ کاملتر در راهه
- لایسنس MIT، بدون محدودیت برای استفادهٔ تجاری و فاینتیون
