‏انویدیا چهار مدل باز Cosmos 3 برای شبیه‌سازی تعاملی دنیا منتشر کرد

انویدیا تو بلاگ Hugging Face چهار checkpoint جدید با وزن‌های باز برای خانواده‌ی Cosmos 3 معرفی کرده. Cosmos پلتفرم انویدیا برای ساختن world model هست، یعنی مدلی که یاد می‌گیره دنیا در جواب یه کار چطور تغییر می‌کنه. هر چهار مدل نسخه‌های post-train شده‌ی Cosmos 3 Nano هستن، ۱۶ میلیارد پارامتر قابل‌آموزش دارن و با مجوز OpenMDW1.1 منتشر شدن که استفاده‌ی تجاری و غیرتجاری رو اجازه می‌ده.

برای رانندگی خودران دو تا مدل هست. Cosmos3-Nano-Transfer-Auto داده‌ی مصنوعی رو آفلاین می‌سازه: ویدیوی هم‌زمان تا ۱۱ دوربین (حتی fisheye) به‌علاوه‌ی LiDAR. ساختار صحنه و حرکت ترافیک با کنترل‌هایی به اسم World Scenario Map (WSM) مشخص می‌شه، و ظاهر صحنه مثل آب‌وهوا و نور و ساعت روز با پرامپت متنی. Cosmos3-Nano-Sim-Auto نسخه‌ی distill شده و streaming همین مدله که تو چند قدم denoising تیکه‌های کوچیک ویدیو و LiDAR رو پشت سر هم می‌سازه تا شبیه‌سازی تعاملی و طولانی ممکن بشه.

برای رباتیک هم دو تا مدل اومده. Cosmos3-Nano-Sim-Transfer کنترل‌های فضایی یه شبیه‌ساز فیزیکی مثل depth، segmentation، لبه‌ها و blur رو با یه پرامپت متنی می‌گیره و ازش ویدیوی رنگی واقعی‌نما می‌سازه. فیزیک و وضعیت واقعی پیش خود شبیه‌ساز می‌مونه. Cosmos3-Nano-Sim-Bimanual از یه تصویر شروع می‌کنه و پیش‌بینی می‌کنه صحنه در جواب حرکت‌های یه ربات دودست (برای ربات‌های YAM و AgiBot) یا تغییر زاویه‌ی دوربین چی می‌شه. ورودیش ۵۹ مقدار کنترلیه که موقع آموزش به ۶۴ پر شده.

نویسنده‌ها توضیح می‌دن که تولید streaming چطور کار می‌کنه. backbone مدل Mixture-of-Transformers هست، یعنی شبکه‌ی پردازش متن و شبکه‌ی تولید تصویر جدا هستن و با attention به هم وصل می‌شن. مدل روی latentها کار می‌کنه و هر قدم زمانی latent معادل چهار فریم RGB هست. temporal-causal attention اجازه می‌ده مدل تاریخچه رو ببینه ولی آینده رو نه، و یه key/value cache اطلاعات رو برای پیش‌بینی بعدی نگه می‌داره. هرچی تیکه‌ها کوچیک‌تر باشن، کنترل‌های جدید زودتر روی خروجی اثر می‌ذارن.

آموزش چهار مرحله داره: تطبیق دوطرفه با دامنه، teacher forcing، consistency distillation برای رسیدن به چهار قدم denoising، و در آخر self-forcing. به گفته‌ی انویدیا مرحله‌ی آخر مهمه چون یه خطای کوچیک تو یه فریم، ورودی فریم‌های بعدیه و خطاها روی هم جمع می‌شن. self-forcing مدل رو با تاریخچه‌ای که خودش ساخته آموزش می‌ده. دستورالعمل‌های post-training هم منتشر شده تا بشه مدل‌ها رو روی سنسورها و ربات خودت تطبیق داد.

نکات کلیدی:

• چهار مدل باز Cosmos 3 Nano، هر کدوم با ۱۶ میلیارد پارامتر قابل‌آموزش
• مجوز OpenMDW1.1 با اجازه‌ی استفاده‌ی تجاری
• Transfer-Auto تا ۱۱ دوربین و LiDAR رو هم‌زمان تولید می‌کنه
• Sim-Auto نسخه‌ی distill شده و streaming مدل Transfer-Auto هست
• Sim-Bimanual برای ربات‌های YAM و AgiBot با ۵۹ مقدار کنترلی کار می‌کنه
• راه‌اندازی vLLM-Omni روی یه GB200 تست شده و به Linux، GPU انویدیا و Docker نیاز داره