Edge0-35B-A3B: مدل ۳۵ میلیاردی که با ۳ گیگ رم کار می‌کنه
هوش مصنوعیClaude Sonnet 5خلاصهٔ کامل‌تر
Edge0-35B-A3B یه مدل زبانی mixture-of-experts (یعنی به‌جای فعال شدن کل شبکه، هر توکن فقط از چندتا زیرشبکه تخصصی به اسم «اکسپرت» رد میشه) با ۳۵ میلیارد پارامتره که رو Qwen3.5-MoE ساخته شده و به فرمت ۴ بیتی فشرده شده. نکته‌ی جالبش اینه که کل وزن‌ها رو دیسک SSD می‌مونن و فقط همون اکسپرت‌هایی که برای تولید توکن بعدی لازمن، لحظه‌ای از دیسک خونده می‌شن. یعنی مصرف رم به تعداد پارامترهای فعال (حدود ۳ میلیارد در هر توکن) بستگی داره، نه کل ۳۵ میلیارد پارامتر مدل.
مشکل این روش اینه که خوندن از دیسک خیلی کندتر از رمه، برای همین سازنده‌ها یه مدل کوچیک به اسم «پری‌روتر» ساختن که یه قدم جلوتر حدس می‌زنه کدوم اکسپرت‌ها قراره لازم بشن. این‌طوری خوندن از دیسک هم‌زمان با محاسبات انجام میشه، نه بعدش، و طبق ادعای سازنده تا ۵۹ درصد سرعت رو بالا می‌بره.
فشرده کردن مدل به ۴ بیت معمولاً کیفیتشو افت می‌ده، برای همین از یه تکنیک به اسم Recover-LoRA استفاده کردن: رو مدل فشرده‌شده یه سری لایه‌ی کوچیک اضافه آموزش دادن تا بخشی از دقتی که با فشرده‌سازی از دست رفته رو برگردونن. نتیجه‌ش این شده که تو پنج تست استاندارد (مثل HumanEval و MMLU-Pro) این نسخه فقط ۳.۹ نمره از نسخه‌ی اصلی و کامل مدل عقب‌تره.
این مدل الان فقط یه نسخه‌ی پیش‌نمایشه؛ تو کارهای عامل‌محور مثل استفاده از ابزار و برنامه‌ریزی چندمرحله‌ای هنوز ضعیفه و فعلاً فقط رو مک‌های اپل با تراشه‌ی سیلیکون کار می‌کنه، نه رو ویندوز یا لینوکس. جایی که واقعاً به درد می‌خوره برای کسانیه که GPU قوی ندارن ولی حافظه‌ی فلش سریع دارن، یا کسایی که می‌خوان چندتا نسخه‌ی فاین‌تیون‌شده رو بدون تکرار فشرده‌سازی، رو یه مدل پایه اجرا کنن.
نکات کلیدی:
- ۳۵ میلیارد پارامتر کل، ولی فقط حدود ۳ میلیارد در هر توکن فعاله
- حداکثر مصرف رم حدود ۲.۹ گیگابایت رو مک مینی M4 Pro
- سرعت: ۱۵ تا ۱۸ توکن در ثانیه در تولید، ۱۱۳ تا ۱۴۰ توکن در ثانیه در پردازش اولیه
- افت دقت نسبت به نسخه‌ی fp16 اصلی: فقط ۳.۹ نمره از ۱۰۰
- لایسنس Apache 2.0 و فعلاً فقط با بک‌اند MLX رو تراشه‌های اپل سیلیکون
