‏مدل ۲۰ میلیارد پارامتری اپل چطوری تو حافظهٔ مک جا می‌شه

تو macOS 27 هر مکی که Apple Intelligence رو اجرا کنه یه مدل زبانی داره که با دستور fm respond تو ترمینال جواب می‌ده. اسم این مدل Core Advanced هست: ۲۰ میلیارد پارامتر که هر بار فقط ۱ تا ۴ میلیاردش فعاله، و اپل می‌گه با همکاری گوگل ساخته شده. جولین سایمون، نویسندهٔ مقاله، بدون باز کردن فایل مدل یا دی‌کامپایل، فقط با ابزارهای خود macOS روی یه MacBook Pro با M3 Max و ۴۸ گیگ رم بررسیش کرده.

ایدهٔ اصلی mixture-of-experts هست، یعنی هر لایه به چند شبکهٔ کوچیک به اسم expert تقسیم می‌شه و فقط چندتاشون کار می‌کنن. مدل‌های معمولی برای هر توکن expertهای جدید انتخاب می‌کنن، پس همه باید تو رم باشن. اپل به جاش برای هر پرامپت expertها رو انتخاب می‌کنه و بقیهٔ مدل رو تو یه فایل ۴.۹۵ گیگی روی flash نگه می‌داره. نویسنده دیده مدل حدوداً هر ۳۲ توکن چند بلوک ۲۹۴,۹۱۲ بایتی از دیسک می‌خونه و حدس می‌زنه expertها هر ۳۲ توکن دوباره انتخاب می‌شن.

نتیجه‌ش تو حافظه معلومه. دو ثانیه بعد از یه درخواست طولانی، مدل اپل و مدل‌های ایمنیش روی هم ۲.۰ گیگ رم گرفته بودن. Gemma 4 26B A4B گوگل که هم‌کلاسشه ولی expertها رو برای هر توکن عوض می‌کنه، حدود ۱۵ گیگ گرفته بود. نویسنده می‌گه حدود نصف این فاصله به خاطر فشرده‌سازیه: اپل وزن‌ها رو تقریباً ۲ بیتی نگه می‌داره و Gemma تو این تست ۴ بیتی بود.

مدل روی Neural Engine (یعنی پردازندهٔ مخصوص هوش مصنوعی تو چیپ‌های اپل) اجرا می‌شه و GPU بی‌کار می‌مونه. تو یه تست با ۲۰ مسئلهٔ ریاضی، مدل اپل حدود یک‌سوم انرژی بهترین مدل باز رو مصرف کرد، ولی فقط ۱۳ تاشو حل کرد. ایمنی تو یه پروسهٔ جدا با دو مدل ۳۰۰ میلیون پارامتری انجام می‌شه که ۰.۷ گیگ از اون ۲ گیگ رو می‌گیرن و گاهی سؤال‌های بی‌خطر رو هم رد می‌کنن. پنجرهٔ متن هم ۸,۱۹۲ توکنه.

سهم گوگل کجاست؟ نویسنده با fm count-tokens نشون داده tokenizer مدل اپل (یعنی بخشی که متن رو به توکن می‌شکنه) روی هر ۴۲۹ رشتهٔ تست دقیقاً همون شمارش Gemma 3 رو می‌ده. به نظر نویسنده آموزش مدل به گوگل تکیه داره، یعنی چیپ‌های TPU، tokenizer و خروجی‌های Gemini، ولی طراحی flash و اجرا روی Neural Engine کار خود اپله.

هزینه‌ش برای توسعه‌دهنده دو تاست. اول ریاضی: از ۱۰۰ مسئله ۷۸ تا رو حل کرد، در حالی که مدل‌های باز ۸۹ تا ۹۴ تا حل کردن. دوم کنترل: نمی‌شه نسخهٔ مدل رو ثابت نگه داشت و با هر آپدیت سیستم‌عامل عوض می‌شه، adapterهای توسعه‌دهنده هم تو OS 27 حذف شدن. توصیهٔ نویسنده اینه که ازش برای کارهای کوتاه مثل خلاصه‌سازی، استخراج و دسته‌بندی استفاده کنین، نه ریاضی و کد. اون از اپل می‌خواد وزن‌ها رو منتشر کنه.

نکات کلیدی:

• Core Advanced بیست میلیارد پارامتر داره، ۱ تا ۴ میلیاردش فعاله و بقیه تو یه فایل ۴.۹۵ گیگی روی flash می‌مونه
• مصرف رم مدل اپل حدود ۲.۰ گیگه، در برابر حدود ۱۵ گیگ برای Gemma 4 26B A4B چهار بیتی
• روی ۲۰ مسئلهٔ GSM8K حدود یک‌سوم انرژی بهترین مدل باز رو مصرف کرد
• تو ریاضی ۷۸ از ۱۰۰ گرفت، مدل‌های باز ۸۹ تا ۹۴
• tokenizer روی هر ۴۲۹ رشتهٔ تست با Gemma 3 یکی بود
• پنجرهٔ متن ۸,۱۹۲ توکنه و امکان ثابت کردن نسخه یا adapter شخصی وجود نداره