افت ۳٫۹ نمرهای Edge0-35B بعد از کوانتیزیشن ۴بیتی
هوش مصنوعیخلاصهٔ کاملتر
تیم Edge0 یه گزارش داده دربارهٔ مدل Edge0-35B-A3B، یه مدل ۳۵میلیاردپارامتری ساختهشده روی Qwen3.5-MoE (با ۲۵۶ اکسپرت که فقط ۴ تاشون در هر توکن فعال میشن). وقتی این مدل به فرمت ۴بیتی (int4) فشرده و از مسیر پایپلاین edge0 اجرا میشه، رو پنج تا بنچمارک استاندارد بهطور میانگین ۳٫۹ نمره نسبت به نسخهٔ اصلی fp16 افت میکنه (۷۹٫۲ در برابر ۸۳٫۲). این عدد از ۱٫۵ نمره تو GPQA-Diamond تا ۶٫۱ نمره تو AIME 2026 (مسائل ریاضی سطح مسابقه) فرق میکنه.
جالب اینجاست که افت کیفیت یکنواخت نیست: کارهایی که به زنجیرهٔ استدلال طولانی و دقیق نیاز دارن، مثل مسائل ریاضی مسابقهای، بیشتر از کارهای دانشی مثل سوالای علمی آسیب میبینن. توضیحش اینه که یه خطای کوچیک تو یه مرحلهٔ اولیهٔ زنجیرهٔ استدلال میتونه تو مراحل بعدی تشدید بشه و جواب نهایی رو خراب کنه، در حالی که یه سوال دانشی اینقدر به محاسبهٔ چندمرحلهای وابسته نیست. کدنویسی (HumanEval) هم ۴٫۲ نمره افت داشته، چون سینتکس دقیق لازم داره و یه خطای کوچیک کافیه که تست شکست بخوره.
روشی که این افت رو کنترل کرده Recover-LoRA نام داره: وزنهای پایهٔ ۴بیتی ثابت نگه داشته میشن و یه سری آداپتور LoRA (لایههای کمحجم اضافه) روشون آموزش داده میشه، با استفاده از خروجی مدل اصلی fp16 بهعنوان معلم. چون این آداپتورها low-rank و جدا از وزن اصلی هستن، حجم و حافظهٔ اضافهشون کمه و میشه چندتا مجموعه آداپتور مختلف رو روی همون مدل پایهٔ کوانتیزهشده اجرا کرد، بدون اینکه لازم باشه دوباره کوانتیزه بشه.
از طرف دیگه، این مدل هنوز یه نسخهٔ previewـه: تو کارای ایجنتی مثل استفاده از ابزار و برنامهریزی چندمرحلهای ضعیفه، پشتیبانی زبانیش محدود به زبونهای مدل پایه Qwen3.5-MoEـه، و فعلا فقط رو سیلیکون اپل (از طریق بکاند MLX) کار میکنه. حافظهٔ ۲٫۹ گیگابایتی هم فقط برای زمینههای کوتاه صادقه؛ با طولانیتر شدن زمینه، کش KV بزرگتر میشه و مصرف حافظه بالا میره.
نکات کلیدی:
- افت میانگین ۳٫۹ نمره بین fp16 و کوانتیزهٔ ۴بیتی، رو پنج بنچمارک
- بیشترین افت رو AIME 2026 (۶٫۱ نمره)، کمترین رو GPQA-Diamond (۲ نمره)
- Recover-LoRA با آموزش آداپتور روی مدل ثابتشدهٔ ۴بیتی، افت رو کنترل میکنه
- اجرا با ۲٫۹ گیگابایت حافظه و ۱۵ توکن در ثانیه رو مک مینی M4 Pro
- این نسخه previewـه؛ کارای ایجنتی و پشتیبانی زبانیش هنوز ضعیفه
