‏Inkling: ۹۷۵ میلیارد پارامتر، فقط ۴۱ تا فعال

تو مقالهٔ ByteByteGo اومده که Thinking Machines، شرکتی که میرا موراتی (CTO سابق OpenAI) راه انداخته، در ۱۵ جولای ۲۰۲۶ مدلی به اسم Inkling رو منتشر کرده. این اولین مدلیه که این شرکت از صفر آموزش داده و وزن‌هاش با لایسنس Apache 2.0 روی Hugging Face نشسته، یعنی هر کسی می‌تونه دانلودش کنه و روی دادهٔ خودش دوباره آموزشش بده. نویسنده می‌گه کل ماجرا سر همین انتخاب‌های معماریه که Inkling رو ساخته تا شخصی‌سازی بشه.

انتخاب اصلی، Mixture of Experts هست، یعنی جای یه شبکهٔ بزرگ تو هر لایه، ۲۵۶ شبکهٔ کوچیک به اسم expert می‌ذارن و برای هر توکن فقط ۶ تاشون رو روشن می‌کنن، به‌علاوهٔ ۲ تا shared expert که همیشه اجرا می‌شن. برای همین مدل روی کاغذ ۹۷۵ میلیارد پارامتره ولی سر هر توکن حدود ۴۱ میلیارد پارامتر درگیر می‌شه، یعنی حدود ۴ درصد کل مدل. حافظه ولی تخفیف نمی‌خوره: نسخهٔ کامل دست‌کم ۲ ترابایت حافظهٔ GPU می‌خواد و نسخهٔ کوانتایزشده حدود ۶۰۰ گیگابایت.

مشکل معروف این معماری routing collapse هست: چندتا expert شانسی بیشتر انتخاب می‌شن، بیشتر آموزش می‌بینن، بهتر می‌شن و باز بیشتر انتخاب می‌شن تا جایی که بقیه بیکار می‌مونن. راه‌حل قدیمی اینه که یه جریمه به هدف آموزش اضافه کنن تا نامتوازنی گرون تموم بشه، ولی این جریمه با پیش‌بینی توکن بعدی تداخل داره و کیفیت متن رو پایین میاره. Inkling به‌جاش برای هر expert یه bias نگه می‌داره که فقط موقع انتخاب اعمال می‌شه و موقع وزن‌دهی به خروجی کنار گذاشته می‌شه، پس آموزش هیچ گرادیان رقیبی نمی‌گیره.

برای context یک میلیون توکنی هم مدل ۵۵ لایهٔ sliding-window داره که هر توکن رو فقط با چندتا توکن نزدیکش مقایسه می‌کنن و ۱۱ لایه full-attention که کل دنباله رو می‌بینن، با نسبت ۵ به ۱. اطلاعات دوردست از همون ۱۱ لایه رد می‌شه. برای جای کلمه‌ها هم به‌جای RoPE که روش رایج مدل‌های امروزیه، یه روش نسبی قدیمی‌تر (سبک Shaw) رو برداشتن که فاصلهٔ بین دو توکن رو یاد می‌گیره نه جای مطلقشون؛ به گفتهٔ Thinking Machines این روش روی طول‌های بلند بهتر جواب داده.

تصویر و صدا هم بدون encoder جداگانه وارد مدل می‌شن: صدا به شکل mel spectrogram میاد و مقادیرش گرد می‌شه (روش dMel) و تصویر به پچ‌های ۴۰ در ۴۰ پیکسل بریده می‌شه. یه تنظیم جالب دیگه thinking effort هست، عددی بین ۰ تا ۱ که موقع reinforcement learning تو خود مدل آموزش داده شده و تعیین می‌کنه قبل از جواب چقدر فکر کنه. روی بنچمارک Terminal Bench 2.1، مدل با حدود یک‌سوم توکن به امتیاز Nemotron 3 Ultra می‌رسه.

نکات کلیدی:

• ۹۷۵ میلیارد پارامتر کل و حدود ۴۱ میلیارد پارامتر فعال سر هر توکن، یعنی حدود ۴ درصد مدل.

• ۶۶ لایه: ۵۵ لایهٔ sliding-window و ۱۱ لایهٔ full-attention با نسبت ۵ به ۱، و ۸ تا key-value head.

• context یک میلیون توکن، با موقعیت نسبی سبک Shaw به‌جای RoPE.

• وزن‌ها با لایسنس Apache 2.0 روی Hugging Face، ولی دادهٔ آموزش و کد و recipe منتشر نشده.

• نسخهٔ full-precision دست‌کم ۲ ترابایت حافظهٔ GPU (هشت کارت B300) و نسخهٔ کوانتایزشده حدود ۶۰۰ گیگابایت روی چهار کارت.

• thinking effort با پیش‌فرض ۰.۹ و سقف ۰.۹۹؛ روی Terminal Bench 2.1 هم‌امتیاز Nemotron 3 Ultra با حدود یک‌سوم توکن.