Inkling؛ اولین مدل باز شرکت میرا موراتی
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
وقتی میرا موراتی در سپتامبر ۲۰۲۴ اوپنایآی رو ترک کرد، سالها بهعنوان مدیر فنی از نزدیک دیده بود توسعهٔ بستهٔ هوش مصنوعی چه شکلیه. حالا شرکت جدیدش، Thinking Machines Lab، اولین مدلش رو با وزنهای باز منتشر کرده و نویسنده میگه این تضاد سخت به چشم نمیاد. Inkling یه مدل چندوجهی ۹۵۲ میلیارد پارامتریه که هم متن و هم تصویر رو پردازش میکنه و وزنهاش برای دانلود در دسترسه.
تز شرکت به گفتهٔ نویسنده فقط یه تصمیم محصولی نیست، یه موضع فلسفیه: مدلهای توانمند باید باز و در دسترس باشن، نه پشت APIهایی که چند شرکت کنترلشون میکنن. مدل باز رو میشه ممیزی کرد، فاینتیون کرد، محلی اجرا کرد و بدون وابستگی دائمی به API بهکار گرفت.
عدد ۹۵۲ میلیارد کل ماجرا نیست. Inkling از معماری Mixture of Experts استفاده میکنه: یه سازوکار مسیریابی برای هر ورودی زیرمجموعهای از شبکههای «متخصص» رو انتخاب میکنه و فقط کسری از پارامترها تو هر عبور فعالن. نتیجهش دو مزیته — حافظه و محاسبهٔ کمتر نسبت به یه مدل متراکم هماندازه، و تخصصیشدن بخشهای مختلف شبکه روی حوزههایی مثل کد و استدلال بدون اینکه به هم دستدرازی کنن.
نکتهٔ دیگه اینه که Inkling از پایه چندوجهی طراحی شده، نه یه مدل متنی که ماژول بینایی بهش وصل کرده باشن. این تفاوت جایی خودشو نشون میده که کار نیازمند استدلال همزمان روی تصویر و متنه: خوندن یه نمودار، تفسیر یه دیاگرام یا تحلیل اسکرینشات یه رابط کاربری.
از نظر بنچمارک، Inkling تو کارهای استدلالی مثل MMLU و GPQA با مدلهای بستهٔ خیلی سنگینتر رقابت میکنه و تو بنچمارکهای چندوجهی مثل MMBench و MathVista هم بالاتر از هموزنهاش میایسته. تو تولید کد اما نتیجه خوبه ولی استثنایی نیست. نویسنده یادآوری میکنه که این عددها فقط نمایندهان: مدلی که صدر MMLU رو میگیره لزوماً ایمیل بهتری نمینویسه.
مقاله Inkling رو با GLM 5.2 از شرکت Zhipu AI هم مقایسه میکنه. GLM معماری متراکم داره و برای کار با زبان چینی قویتره؛ Inkling روی استدلال انگلیسی و بینایی متمرکزه و تو بنچمارکهای انگلیسی معمولاً امتیاز بالاتری میگیره. انتخاب بین این دو به گفتهٔ نویسنده بیشتر به زبان کاری و محدودیتهای دیپلوی بستگی داره تا به امتیاز کلی.
نکتهای که مقاله روش تأکید داره تفاوت «وزن باز» با «متنباز»ـه. متنباز واقعی یعنی کد آموزش و داده هم منتشر بشه، که بیشتر مدلهای بهاصطلاح باز این کارو نمیکنن. Inkling در دستهٔ وزنبازه: میتونی دانلود و فاینتیونش کنی و روی زیرساخت خودت اجراش کنی. نویسنده انتشار باز رو یه حرکت رقابتی حسابشده میدونه که برای TML توزیع و اکوسیستم میسازه، درست همونطور که Llama برای متا ساخت.
نکات کلیدی:
- Inkling اولین مدل Thinking Machines Labـه: ۹۵۲ میلیارد پارامتر، چندوجهی و با وزنهای باز
- معماری Mixture of Experts هزینهٔ هر استنتاج رو نسبت به مدل متراکم هماندازه پایین میاره
- بینایی از پایه در معماری تعبیه شده، نه بهشکل ماژول الحاقی
- تو استدلال و بینایی با مدلهای بستهٔ پیشرو رقابت میکنه، تو تولید کد متوسطه
- وزن باز با متنباز فرق داره؛ داده و کد آموزش منتشر نشده
