‏InteractiveWorld متا: شبیه‌ساز سه‌بعدی برای سنجیدن دستیارهای پوشیدنی

متا (facebookresearch) پروژه‌ی InteractiveWorld رو برای ساختن و سنجیدن دستیارهای چندوجهی (MLLM، یعنی مدلی که هم تصویر می‌فهمه هم متن) معرفی کرده. ایده اینه که تعامل یه دستیار پوشیدنی رو شبیه‌سازی کنه: دستیار از چشم آدم می‌بینه و حرف می‌زنه، آدم تصمیم می‌گیره و کاری انجام می‌ده، بعد یه دنیای سه‌بعدی stateful تصویر اول‌شخص بعدی رو برمی‌گردونه. یه آدم انیمیشنی تو ۴۴ خونه و محیط از BEHAVIOR-1K راه می‌ره، چیزها رو برمی‌داره، باز می‌کنه و ازشون استفاده می‌کنه.

ریپو دو لایه داره. لایه‌ی اول خود شبیه‌سازه که روی Isaac Sim و OmniGibson ساخته شده. آدم رو با دستورهای کوتاهی مثل [Grab] (1) کنترل می‌کنی و خود شبیه‌ساز حساب می‌کنه کجا وایسه، چطور راه بره و چطور جسم رو بگیره. کلاً ۳۶ خانواده‌ی اکشن داره، از راه رفتن و نگاه کردن تا باز کردن در، بریدن، هم زدن و نشستن. از Python هم می‌شه کار کرد و Simulator.launch شبیه‌ساز رو تو یه پروسه‌ی جدا بالا میاره، یعنی محیط Python و CUDA برنامه‌ی خودت دست نمی‌خوره:

config = SimulatorConfig(gpu=0, frames_per_action=8)
with Simulator.launch(scene="Rs_int", config=config) as world:
    for action in (Action.walk("can_of_soda"), Action.grab("can_of_soda")):
        result = world.step(action)
        print(action.to_command(), result.success, result.error_code)

لایه‌ی دوم InteractiveBenchه که ۱۲۰ تسک چندنوبتی ثابت داره، ۲۰ تا تو هر کدوم از شش دسته‌ی Guidance، Planning، Accessibility، Decision، Prevention و Finding. مدلی که تست می‌شه نقش Assistant رو داره و فقط دید اول‌شخص و گفت‌وگو رو می‌بینه. یه مدل ثابت دیگه نقش Human رو بازی می‌کنه و راهنمایی‌ها رو به اکشن تبدیل می‌کنه؛ تو مقاله این نقش با Gemini 3.1 Pro پر شده. تسک وقتی قبوله که همه‌ی هدف‌ها تو وضعیت نهایی دنیا برقرار باشن.

برای اجرا لینوکس با GPU انویدیا و حدود ۱۰۰ گیگ فضا لازمه؛ هر worker شبیه‌ساز حدود ۴ گیگ حافظه‌ی GPU می‌خواد. مدل‌ها می‌تونن محلی (پشت سرور سازگار با OpenAI مثل vLLM یا Ollama) یا API میزبانی‌شده‌ی openai، anthropic و gemini باشن. تسک جدید هم با یه فایل JSON به اسم TaskPack تعریف می‌شه که صحنه، هدف، پیش‌زمینه‌ی داستان و یه راه‌حل oracle داره. پروژه با لایسنس CC BY-NC 4.0 منتشر شده و مدل بدن SMPL+H و داده‌ی حرکتی AMASS فقط برای تحقیق غیرتجاری قابل استفاده‌ن.

نکات کلیدی:

• شبیه‌ساز روی Isaac Sim 5.1 و OmniGibson ساخته شده و ۴۴ صحنه از BEHAVIOR-1K داره.
• آدم شبیه‌سازی‌شده ۳۶ خانواده‌ی اکشن داره که با دستورهایی مثل [Walk] و [Grab] کنترل می‌شن.
• InteractiveBench شامل ۱۲۰ تسک تو ۶ دسته‌ی ۲۰تاییه.
• موفقیت از روی وضعیت دنیا چک می‌شه، نه با قضاوت روی متن.
• هر worker حدود ۴ گیگ حافظه‌ی GPU و کل پروژه حدود ۱۰۰ گیگ دیسک می‌خواد.
• لایسنس CC BY-NC 4.0 هست و استفاده‌ی تجاری مجاز نیست.