‏ساخت شبیه‌سازی تعاملی با world modelهای NVIDIA Cosmos

تیم NVIDIA تو این پست می‌گه کسایی که روی physical AI (یعنی هوش مصنوعی‌ای که با دنیای فیزیکی مثل ربات و خودرو کار می‌کنه) کار می‌کنن، دو تا مشکل دارن: تطبیق world model (یعنی مدلی که یاد می‌گیره دنیا تو قدم بعدی چه شکلی می‌شه) با سنسور و داده خودشون، و رسوندن اون مدل به اپلیکیشن. پلتفرم Cosmos برای هر کدوم یه ابزار داره: Cosmos Framework برای آموزش و اجرا، و Cosmos NIM برای سرو کردن با شتاب GPU.

Cosmos Framework یه فریم‌ورک متن‌باز و ماژولاره که کل چرخه آموزش، بهینه‌سازی و inference رو پوشش می‌ده و حالا علاوه بر Cosmos 3 از NVIDIA Alpamayo، GR00T، Qwen، pi0.5 و بقیه مدل‌های سازگار Hugging Face هم پشتیبانی می‌کنه. می‌شه با LoRA یا fine-tuning کامل آموزش داد و داده رو از JSONL، WebDataset یا LeRobot لود کرد. برای reinforcement learning هم روش‌هایی مثل DPO، GRPO، PPO، OPD و DiffusionNFT اضافه شده. یه ویژگی جالبش agent skillها هستن، یعنی دستورالعمل‌های آماده تو پوشه .agents/skills که یه ایجنت هوش مصنوعی می‌تونه باهاشون کارهای آموزش و عیب‌یابی رو خودکار انجام بده.

برای خودروی خودران دو تا چک‌پوینت معرفی شده. Cosmos3-Nano-Transfer-Auto کل یه کلیپ چنددوربینه رو یه‌جا تولید می‌کنه و برای ساخت داده مصنوعی آفلاین مناسبه. تا ۴۰۰ فریم با ۳۰ fps در 480p یا 720p می‌سازه و می‌شه فقط با عوض کردن پرامپت، یه رانندگی روز رو به یه شب بارونی تبدیل کرد، با همون جاده و همون مسیر ماشین‌ها. ورودیش یه نقشه صحنه به اسم World Scenario Map (WSM) هست که لاین‌ها، اشیا و تابلوها رو نشون می‌ده. اجرای مرجعش روی چهار GPU، هفت ویدیو 720p با ۲۹۷ فریم و ۹۹ اسکن LiDAR تحویل می‌ده.

نسخه دوم، Cosmos3-Nano-Sim-Auto، یه نسخه causal و distill‌شده‌ست که خروجی رو مرحله‌به‌مرحله و استریمی تولید می‌کنه. یعنی وقتی policy خودرو یا راننده انسانی تصمیم می‌گیره، تصویر دوربین و LiDAR جدید ساخته می‌شه و برمی‌گرده به خود policy. نتیجه‌ش ارزیابی closed-loop هست، بدون اینکه ماشین واقعی لازم باشه. این چک‌پوینت‌ها با PyTorch و vLLM-Omni روی GPUهای Hopper و Blackwell تست شدن.

برای رباتیک، Cosmos3-Nano-Sim-Transfer ویدیوی عمق رو به ویدیوی RGB با نور و بافت متفاوت تبدیل می‌کنه و شکل و حرکت رو نگه می‌داره. Cosmos3-Nano-Sim-Bimanual هم مستقیم از صحنه و اکشن ربات، تصویر بعدی رو برای ربات‌های دودستی YAM و AgiBot می‌سازه. تو جراحی، Cosmos3-H-Embodied-Nano از اکشن ربات ویدیوی جراحی می‌سازه یا برعکس، و Cosmos3-H-Dreams شبیه‌سازی real-time و closed-loop می‌ده تا policy جراحی قبل از سخت‌افزار واقعی تست بشه.

بخش دیپلوی درباره Cosmos NIM هست که مدل‌ها رو تو کانتینرهای بهینه‌شده اجرا می‌کنه. به گفته NVIDIA، speculative decoding روی H200 به‌طور میانگین حدود ۲ تا ۳ برابر سرعت بیشتر می‌ده و درک ویدیوی زنده تا ۱۰ برابر latency کمتر داره. موقع اجرای کانتینر با متغیر NIM_PERF_PROFILE بین latency (پیش‌فرض، برای کار تعاملی) و throughput (برای ساخت دیتاست یا کاربرهای همزمان) انتخاب می‌کنی. نکته مهم اینه که throughput حداقل ۲ GPU لازم داره و رو تک‌GPU شکست می‌خوره.

نکات کلیدی:

• Cosmos Framework متن‌بازه و جدا از Cosmos 3، مدل‌های Alpamayo، GR00T، Qwen و pi0.5 رو هم پشتیبانی می‌کنه.
• روش‌های RL جدید: DPO، GRPO، PPO، OPD و DiffusionNFT.
• Cosmos3-Nano-Transfer-Auto تا ۴۰۰ فریم با ۳۰ fps در 480p یا 720p تولید می‌کنه.
• Sim-Auto نسخه causal و distill‌شده‌ست و ارزیابی closed-loop خودروی خودران رو ممکن می‌کنه.
• speculative decoding تو Cosmos NIM روی H200 حدود ۲ تا ۳ برابر سرعت می‌ده.
• پروفایل latency با ۱، ۲، ۴ یا ۸ GPU کار می‌کنه، ولی throughput فقط با ۲، ۴ یا ۸ GPU.