‏داده آموزشی ربات‌ها از کجا قراره بیاد؟

Brian Potter تو این مقاله از Construction Physics می‌گه پیشرفت بزرگ AI تو چند سال اخیر بیشتر حاصل scale بوده: مدل بزرگ‌تر، داده بیشتر و محاسبات بیشتر. مثلاً GPT-3 روی حدود ۳۰۰ میلیارد توکن متن اینترنت آموزش دید و Epoch AI کل متن باکیفیت موجود رو حدود ۳۰۰ تریلیون توکن تخمین زده. ولی برای ربات‌ها همچین ذخیره عمومی‌ای وجود نداره و سؤال اصلی اینه که داده از کجا بیاد.

قدیمی‌ترین روش teleoperationـه، یعنی یه آدم با کنترلر ربات رو قدم‌به‌قدم توی یه کار (مثل تا کردن لباس) هدایت می‌کنه و وضعیت ربات و تصویر دوربین‌ها ضبط می‌شه. بعد مدل یاد می‌گیره از روی این نمونه‌ها حرکت بعدی رو حدس بزنه که بهش behavioral cloning می‌گن. داده‌اش دقیقاً با توانایی خود ربات جوره، ولی گرونه، کند scale می‌شه و چون اپراتور حس لامسه نداره، برای کارهای ظریف داده خوبی نمی‌ده.

روش دیگه شبیه‌سازیـه که ارزون و سریعه. Figure AI راه رفتن ربات انسان‌نماش رو روی هزاران ربات شبیه‌سازی‌شده یاد داد و OpenAI معادل ۱۳ هزار سال تجربه شبیه‌سازی‌شده رو صرف حل مکعب روبیک با دست رباتیک کرد. مشکل sim-to-real gapـه، یعنی فاصله شبیه‌سازی با دنیای واقعی. برای راه رفتن شبیه‌سازی خوب جواب می‌ده، ولی برای جابه‌جا کردن اجسام نرم خیلی ضعیفه؛ همون دست روبیک تو سخت‌ترین حالت‌ها فقط ۲۰٪ موفق بود.

روش سوم ضبط کار آدم‌هاست: دوربین روی سر (** egocentric video**)، دستکش‌های لمسی، یا UMI که یه گیره دستی دوربین‌داره و حرکتش شبیه دست رباته. این روش ارزون‌تر از teleoperation و واقعی‌تر از شبیه‌سازیه، ولی چون داده از آدم میاد، صددرصد با توانایی ربات جور نیست. شرکت‌هایی مثل Generalist AI عمدتاً روی UMI حساب کردن و خیلی از دموهای چشمگیر اخیر با همین داده آموزش دیدن.

حجم داده‌ها داره بالا می‌ره: دیتاست OXE گوگل تو ۲۰۲۳ حدود ۴ هزار ساعت بود، Pi 0 روی ۱۰ هزار ساعت آموزش دید، GEN 1 روی حدود ۵۰۰ هزار ساعت و Dyna Robotics ادعای بیش از یک میلیون ساعت داره. با یه معیار تقریبی (مدت زمان خوندن متن آموزشی)، GPT-4 معادل ۶۸۵ میلیون ساعت داده دیده؛ یعنی مدل‌های زبانی چند سال پیش هم حدود هزار برابر مدل‌های رباتیک فعلی داده داشتن. Chris Paxton هم با حساب توکن، یک میلیون ساعت ویدیو رو حدود ۳.۶ میلیارد توکن می‌دونه.

با قیمت فعلی ۱۰ تا ۱۵۰ دلار برای هر ساعت داده، رسیدن به حدود یک میلیارد ساعت ممکنه ۱۰ تا ۱۰۰ میلیارد دلار خرج داشته باشه. البته نویسنده می‌گه معلوم نیست واقعاً این‌قدر داده لازم باشه: شاید مدل‌های عمومی بزرگ با داده کم کنترل ربات رو یاد بگیرن یا معماری‌های کم‌مصرف‌تر پیدا بشه. از اون طرف، کار با اجسام فیزیکی ممکنه ذاتاً سخت‌تر از تولید متن باشه، چون یه خطای کوچیک تو موقعیت می‌تونه کل کار رو خراب کنه.

نکات کلیدی:

• GPT-3 روی حدود ۳۰۰ میلیارد توکن آموزش دید، ولی برای ربات‌ها ذخیره داده عمومی مشابهی نیست.
• سه منبع اصلی داده ربات: teleoperation، شبیه‌سازی و ضبط کار آدم‌ها با دوربین یا UMI.
• دست رباتیک OpenAI با ۱۳ هزار سال تجربه شبیه‌سازی‌شده، تو سخت‌ترین حالت فقط ۲۰٪ موفق بود.
• بزرگ‌ترین مدل‌های رباتیک حدود یک میلیون ساعت داده دارن که حدود هزار برابر کمتر از مدل‌های زبانیه.
• هزینه هر ساعت داده بین ۱۰ تا ۱۵۰ دلاره و پر کردن فاصله ممکنه ۱۰ تا ۱۰۰ میلیارد دلار بشه.