GR00T 2 انویدیا: رباتی که اول آینده رو تصور میکنه، بعد حرکت میکنه
خلاصهٔ کاملتر
انویدیا تو این گزارش تحقیقاتی GR00T 2 رو معرفی کرده، نسل جدیدی از مدلهایی که اسمشون رو گذاشته world-action model یا WAM (یعنی مدلی که هم آینده دنیا رو پیشبینی میکنه هم حرکت ربات رو). مدل ویدیوی چند لحظه اخیر، دستور متنی و وضعیت ربات رو میگیره و با یه diffusion transformer (یعنی مدلی که از نویز شروع میکنه و کمکم خروجی رو تمیز میکنه) همزمان ویدیوی آینده و یه تیکه از حرکتها رو میسازه. اون تیکه اجرا میشه و چرخه تکرار میشه. برای هر ربات هم یه سر کوچیک جدا هست که برنامه رو به فرمان موتور تبدیل میکنه.
به گفته تیم انویدیا، چون مدل یاد میگیره صحنه چطور باید عوض بشه، میتونه فیزیک رو از ویدیوی آدمها یاد بگیره. داده پیشآموزش سه بخش داره: حدود 402 هزار ساعت ویدیوی اولشخص از آدمها سر کار، حدود 10 هزار ساعت نمایش با دستگیره دستی UMI روی 2897 کار، و 23500 ساعت داده teleoperation (یعنی ربات رو آدم از راه دور هدایت کرده). 100 هزار ساعت از ویدیوهای آدمها با اسم Human-1M-100K روی Hugging Face آزاد شده. وقتی سهم ویدیوی انسانی از صفر به 100 درصد رسیده، پیشرفت کار روی ربات واقعی از 50 به 70 درصد رفته.
مهمترین ادعا چیزیه که اسمش رو گذاشتن X-Adapt: ربات کاری رو انجام میده که هیچوقت روی خودش نمایش داده نشده. مثلاً رباتی با دو دست پنجانگشتی فقط با دیدن آدمها، کاغذ صافی رو تو قیف آزمایشگاه میذاره و خیسش میکنه (65 درصد موفقیت). بازوی YAM هم فقط با نمایش دستگیره دستی، یه کامیون اسباببازی رو کامل سوار میکنه (60 درصد)، کاری که تا 4 دقیقه طول میکشه.
روی 50 کاری که ربات هدف هیچ دادهای ازشون نداشته، مدل بدون هیچ آموزشی (zero-shot) 40 درصد موفق بوده. با پنج نمایش برای هر کار، یعنی کمتر از 3 دقیقه داده ربات، و 30 دقیقه fine-tune با LoRA روی یه کارت RTX 5090، این عدد به 95 درصد رسیده. نویسندهها میگن بیشتر خطاهای zero-shot از دقت اجرا بوده نه از اینکه مدل نفهمیده چی کار کنه. یادگیری تقویتی روی ربات واقعی هم سه کار جاگذاری حساس رو به 88 تا 96 درصد رسونده.
بخش جالب دیگه کنترل agentic هست: یه مدل استدلالی کار بلند رو قدمبهقدم میکنه و GR00T 2 رو از طریق WAM API مثل یه ابزار صدا میزنه. اینطوری YAM از هر 100 بار سوار کردن سه اسباببازی، 97 تا 98 بار موفق شده، در حالی که بدون agent بین 71 تا 84 بوده. اگه agent روی تصویر دوربین علامت بزنه کجا رو بگیره و کجا ول کنه، دنبال کردن دستور از 40 به 92 درصد میرسه. البته انویدیا قبول داره که روی ربات Dexter این علامتها هنوز به ندرت کل کار رو تموم میکنن.
نسخه GR00T 2 Turbo با یه transformer کوچیکتر (2 میلیارد پارامتر) و فشردهسازی بیشتر ویدیو، روی خود ربات انساننمای Unitree G1 اجرا میشه. هر پیشبینی روی Jetson Thor خود ربات 124 میلیثانیه و روی RTX 5090 حدود 38 میلیثانیه طول میکشه. Turbo با کنترلر کل بدن SONIC تو هر 48 بار پاپکورن رو برداشته و سرو کرده. انویدیا همچنین میگه نتیجه شبیهسازیهاشون با دنیای واقعی همبستگی قوی داره (Pearson حدود 0.92).
نکات کلیدی:
- GR00T 2 همزمان ویدیوی آینده و حرکت ربات رو با یه diffusion transformer پیشبینی میکنه.
- داده پیشآموزش: حدود 402 هزار ساعت ویدیوی انسانی، 10 هزار ساعت UMI و 23500 ساعت teleoperation.
- روی 50 کار ندیده، 40 درصد zero-shot و با 5 نمایش و 30 دقیقه LoRA روی RTX 5090 به 95 درصد میرسه.
- با agent استدلالی، 292 از 300 بار سوار کردن اسباببازی موفق بوده.
- GR00T 2 Turbo با 2 میلیارد پارامتر روی Jetson Thor ربات G1 در 124 میلیثانیه پیشبینی میکنه.
- 100 هزار ساعت از دیتاست Human-1M روی Hugging Face آزاد شده.




