‏SenseNova Loop 9B: مدل ۹ میلیاردی که لایه‌هاش رو دو بار اجرا می‌کنه

SenseNova Loop 9B Preview یه مدل چندوجهی (multimodal) و open-weight از SenseNova هست که متن و تصویر ورودی می‌گیره و خروجی متنی می‌ده. تمرکزش روی خوندن اسناد، تولید کد و کارهای agentic با ابزار و context طولانیه. با لایسنس Apache 2.0 روی Hugging Face منتشر شده، ولی صریحاً برچسب preview داره و هنوز نسخهٔ نهایی نیست.

نکتهٔ اصلی معماریشه که بهش looped decoder می‌گن. مدل ۳۲ لایهٔ decoder داره. چهار لایهٔ اول (۰ تا ۳) و چهار لایهٔ آخر (۲۸ تا ۳۱) یه بار اجرا می‌شن، ولی ۲۴ لایهٔ وسط (۴ تا ۲۷) با همون وزن‌ها دو بار پشت سر هم اجرا می‌شن. یعنی ۵۶ بار اجرای لایه در هر forward pass، در حالی که فقط وزن ۳۲ لایه ذخیره شده. حدود ۹ میلیارد پارامتر backbone داره و با حساب اجرای دوباره، حدود ۱۴.۶ میلیارد پارامتر موقع inference درگیر می‌شه.

نویسنده این رو به دوباره خوندن یه پاراگراف سخت با همون مغز تشبیه می‌کنه: بار دوم context بیشتری داری، بدون این‌که مغز جدید لازم باشه. برای این‌که اطلاعات تو این دور دوم خراب نشه، مدل از mHC (یعنی manifold-constrained hyper-connections، دو مسیر residual موازی به جای یکی) استفاده می‌کنه. یه mixer یادگرفته‌شده تعیین می‌کنه تو هر لایه چقدر از هر مسیر قاطی بشه و این با Sinkhorn normalization با ۲۰ تکرار محدود شده. همچنین تو هر گروه چهارتایی، سه لایه linear attention و یه لایه full attention هست.

تو تست‌های عملی، مدل یه عکس شلوغ از دو معادلهٔ دست‌نویس رو درست خوند و حل کرد و بخش خط‌خورده رو جدا تشخیص داد. یه دیاگرام تیر روی دو تکیه‌گاه رو هم درست خوند و فرکانس‌های طبیعی درستی داد، هرچند مراحل وسط استدلال یه کم لرزون بود. یه فاکتور اسکن‌شده رو کامل به JSON تبدیل کرد و جمع‌ها رو هم چک کرد. تو تولید SQL هم join سه جدول، فیلتر تاریخ، شمارش distinct و group by روی customer ID به جای اسم رو درست انجام داد.

تو یه تست دیاگرام workflow با دو pipeline موازی، هر دو مسیر رو درست دنبال کرد ولی یه اشتباه داشت: مرحلهٔ merge و export رو فقط مال یکی از pipelineها دونست. مصرف VRAM روی کارت A6000 حدود ۱۸.۵ گیگ بود که برای یه GPU پرحافظه قابل قبوله. مشکل اصلی سرعته: حدود ۲ توکن در ثانیه، یعنی بیشتر از سه دقیقه برای یه جواب فاکتور، حتی با flash attention.

به گفتهٔ نویسنده، بخشی از این کندی احتمالاً به این برمی‌گرده که از قابلیت‌های شتاب‌دهی، فقط MTP (پیش‌بینی چند توکن با هم) آماده‌ست و Dspark و Dflash2 هنوز در حال آموزشن. پشتیبانی Transformers و LightLLM هست، ولی vLLM و SGLang فعلاً به صورت pull request باز هستن. جمع‌بندی نویسنده اینه که برای آزمایش و parse کردن اسناد به صورت لوکال ارزش امتحان داره، ولی برای کارهای حساس به latency هنوز آماده نیست.

نکات کلیدی:

• ۲۴ لایه از ۳۲ لایهٔ decoder دو بار اجرا می‌شن و جمعاً ۵۶ اجرای لایه در هر forward pass انجام می‌شه.
• حدود ۹B پارامتر backbone و حدود ۱۴.۶B پارامتر مؤثر موقع inference.
• مصرف VRAM حدود ۱۸.۵ گیگ روی A6000 برای یه کار چندوجهی طولانی.
• سرعت فقط حدود ۲ توکن در ثانیه؛ Dspark و Dflash2 هنوز منتشر نشدن.
• لایسنس Apache 2.0 با امکان استفادهٔ تجاری؛ گزارش فنی هنوز منتشر نشده.