چرا رباتیک هنوز دستورپخت post-training نداره
هوش مصنوعیClaude Opus 5خلاصهٔ کامل‌تر
پست تازه‌ی Perry Dong و Chelsea Finn از استنفورد با یه مقایسه شروع میشه: مدل‌های رباتیک امروز شبیه GPT-2 هستن. به گفته‌ی نویسنده‌ها مدل‌های پیش‌آموزش‌دیده‌ی شرکت‌هایی مثل Physical Intelligence و DeepMind کارهای پیچیده رو بلدن، ولی رفتار پیچیده با قابل‌اتکا بودن فرق داره. رباتی که ۹۵ درصد مواقع درست ظرف می‌چینه، تو یه خونه‌ی پر از شیشه و بچه هفته‌ای یه چیزی رو می‌شکنه.
چیزی که کم داریم post-training هست، یعنی همون مرحله‌ای که مدل از تجربه‌ی خودش یاد می‌گیره. تو مدل‌های زبانی این مرحله تبدیل به یه دستورپخت مشخص شده، ولی تو رباتیک به گفته‌ی نویسنده‌ها هنوز یه هنره نه یه رویه‌ی تکرارپذیر. اونا می‌گن دو چیز لازمه: یه الگوریتم که روی مدل‌های میلیارد پارامتری پایدار بمونه، و یه سری قرارداد استاندارد دور و برش، از تعریف موفقیت تا ریست کردن صحنه بین تلاش‌ها.
چرا RL رباتیک با RL مدل‌های زبانی فرق داره؟ تو Go و متن، نمونه گرفتن ارزونه و محیط قطعیه. ربات این‌طوری نیست: هر تلاش روی سخت‌افزار واقعی وقت می‌بره، یه کار ممکنه هزاران قدم داشته باشه و پاداش فقط آخرش می‌رسه، محیط هم تصادفیه و یه دستور تکراری همیشه یه نتیجه‌ی یکسان نمی‌ده. برای همین سمت value-based RL می‌رن، یعنی روش‌هایی که یه مدل امتیازدهی یاد می‌گیرن تا بفهمن کدوم قدم‌های خیلی قبل‌تر تو نتیجه‌ی آخر نقش داشتن.
روش‌های قدیمی مثل DDPG، TD3 و SAC فرض می‌کنن سیاست ربات از یه توزیع نرمال نمونه می‌گیره، ولی مدل‌های امروزی با diffusion عمل تولید می‌کنن چون برای یه کار چند جواب درست وجود داره؛ لیوان رو هم میشه از دسته گرفت هم از ته. راه‌حل پیشنهادی نویسنده‌ها EXPO-FT هست: یه سیاست سبک، عمل‌های مدل بزرگ رو با اصلاح‌های کوچیک بهتر می‌کنه، value function بهترین گزینه رو انتخاب می‌کنه و بعد مدل اصلی روی همون عمل‌های موفق آموزش می‌بینه.
نتیجه‌ای که گزارش شده: تو شش کار دستکاری مثل رد کردن ریسه‌ی چراغ از قلاب‌ها، زدن توپ بیلیارد و گذاشتن گل تو گلوی بطری، EXPO-FT با میانگین فقط ۱۹ دقیقه تعامل آنلاین به ۳۰ موفقیت از ۳۰ تلاش رسیده. خود نویسنده‌ها هم محدودیت‌ها رو می‌گن: آدم هنوز تو حلقه‌ست و صحنه رو ریست می‌کنه، افق‌های طولانی‌تر value function رو اذیت می‌کنه و هزینه‌ی محاسباتی بالاست.
نکات کلیدی:
- مدل‌های رباتیک پیش‌آموزش‌دیده کار پیچیده بلدن، ولی نرخ خطاشون برای استفاده‌ی واقعی زیاده
- RL رباتیک بر خلاف LLM با نمونه‌ی گرون، افق هزاران قدمی و محیط تصادفی سر و کار داره
- EXPO-FT تو شش کار دستکاری با میانگین ۱۹ دقیقه تعامل آنلاین به ۳۰ از ۳۰ رسید
- الگوریتم‌های کلاسیک مثل DDPG، TD3 و SAC با سیاست‌های مبتنی بر diffusion جور در نمی‌آن
- پنج مسئله‌ی باز: تعریف پاداش، ریست صحنه، دخالت انسان، تنظیم هایپرپارامتر و مقداردهی اولیه
