‏Cosmos 3؛ مدل باز انویدیا برای هوش مصنوعی فیزیکی

انویدیا توی GTC تایپه از Cosmos 3 رونمایی کرد: یه مدل پایه باز برای هوش مصنوعی فیزیکی که روی معماری تازه‌ای به اسم mixture-of-transformers ساخته شده و استدلال بینایی، تولید جهان و پیش‌بینی اکشن رو توی یه سیستم واحد جمع می‌کنه. جنسن هوانگ می‌گه «بیگ‌بنگ هوش مصنوعی فیزیکی همین نزدیکیه» و Cosmos 3 رو یه جهش نسلی برای ساخت ربات، خودروی خودران و ویژن AI توصیف می‌کنه.

ادعای بزرگ انویدیا اینه که Cosmos 3 اولین omnimodel کاملاً بازه: مدلی که متن، تصویر، ویدیو، صدای محیطی و اکشن رو به‌صورت بومی می‌فهمه و تولید می‌کنه، اون هم با دقت فیزیک بالا. نتیجه عملیش به گفته شرکت، کوتاه‌شدن چرخه‌های آموزش و ارزیابی AI فیزیکی از چند ماه به چند روزه.

مشکل پایه‌ای که هدف گرفته شده تعمیم‌پذیریه: ربات‌ها و خودروهای خودران باید با داده آموزشی محدود و استک‌های شبیه‌سازی تکه‌تکه توی دنیای واقعی دووم بیارن. توی این معماری، یه ترنسفورمر استدلال با یه ترنسفورمر متخصص تولید جفت شده تا مدل اول تعامل اشیا، حرکت و روابط مکانی-زمانی رو بفهمه و بعد ویدیو و مسیر اکشن تولید کنه. آموزش هم روی یکی از بزرگ‌ترین دیتاست‌های چندوجهی AI فیزیکی با میلیاردها نمونه انجام شده.

توسعه‌دهنده‌ها می‌تونن از Cosmos 3 سه‌جور استفاده کنن: مدل زبانی-بینایی برای فهم و استدلال چندوجهی، world model برای شبیه‌سازی محیط فیزیکی و پیش‌بینی وضعیت‌های آینده جهان، یا ستون فقرات مدل‌های world action برای آموزش ربات روی وظایف مشخص. طبق اعلام انویدیا، این مدل بین مدل‌های باز توی بنچمارک‌هایی مثل Physics-IQ و PAI-Bench برای دقت تولید جهان و RoboArena برای سیاست اکشن رتبه اوله.

سه نسخه در کاره: Super برای بیشترین دقت فیزیک و کیفیت تولید، Nano برای استدلال ویدیو و اکشن در کسری از ثانیه، و Edge که به‌زودی برای اجرای بلادرنگ روی لبه میاد. مدل‌ها از طریق build.nvidia.com، هاگینگ‌فیس و گیت‌هاب در دسترسن و به شکل میکروسرویس‌های NIM هم دیپلوی می‌شن.

همزمان «ائتلاف Cosmos» هم راه افتاده: همکاری جهانی سازنده‌های world model و آزمایشگاه‌های AI شامل Agile Robots، Black Forest Labs، Generalist، LTX، Runway و Skild AI که قراره مدل، پژوهش و روش‌های ارزیابی رو به اشتراک بذارن و از زیرساخت DGX Cloud برای آموزش در مقیاس بزرگ استفاده کنن. شرکت‌هایی مثل LG، سامسونگ، دوسان و Li Auto هم همین حالا دارن روی این پلتفرم محصول می‌سازن.

نکات کلیدی:

• معماری mixture-of-transformers: استدلال بینایی + تولید جهان + پیش‌بینی اکشن در یه سیستم
• اولین omnimodel کاملاً باز با پشتیبانی بومی متن، تصویر، ویدیو، صدا و اکشن
• کوتاه‌شدن چرخه آموزش و ارزیابی AI فیزیکی از ماه‌ها به چند روز
• رتبه اول بین مدل‌های باز در بنچمارک‌های تولید جهان و سیاست اکشن
• سه نسخه Super، Nano و Edge؛ در دسترس روی هاگینگ‌فیس و NIM
• ائتلاف Cosmos با حضور Runway، Black Forest Labs و Skild AI