‏توانایی مدل‌های زبانی تو کنترل بازوی رباتیک هر ۵۴ روز دو برابر می‌شه

نویسنده‌های این پست تو LessWrong نه مدل زبانی چندوجهی (یعنی مدل‌هایی که هم متن و هم تصویر می‌فهمن) رو تو پونزده پیکربندی مختلف روی یه ربات دوبازوی واقعی I2RT YAM تست کردن. مدل‌ها از سه دوربین تصویر می‌گرفتن و مستقیم موقعیت و زاویه‌ی گیره رو تعیین می‌کردن. مدل‌ها از OpenAI مثل GPT-6 Astra و GPT-6.1 Sol، از Anthropic مثل Opus 5.5 و از گوگل مثل Gemini 4 Argon بودن.

شش کار از بنچمارک RoboDojo انتخاب شد، مثل روی هم چیدن کاسه‌ها، گذاشتن درِ خودکار و صاف کردن بطری‌ها، و هر ترکیب ۲۰ بار اجرا شد.

فریم‌ورک Inspect Robots یه حلقه‌ی بسته اجرا می‌کرد. مدل یه حرکت انتخاب می‌کرد، ربات اجراش می‌کرد و مشاهدات به context مدل اضافه می‌شد، تا وقتی مدل کارو تموم کنه یا سقف ۴۰ حرکت پر بشه. هر کار به چند مرحله‌ی کوچیک‌تر شکسته شده بود تا پیشرفت نصفه‌نیمه هم امتیاز بگیره. نتیجه اینکه عملکرد هر ۵۳.۹ روز دو برابر شده، با بازه‌ی اطمینان ۳۶ تا ۶۰ روز.

با این حال، تموم کردن کامل کارها هنوز کمه و بهترین مدل‌ها میانگین امتیاز ۴۵ تا ۴۸ درصد گرفتن. نویسنده‌ها می‌گن مدل‌ها به‌ندرت گیر می‌کنن و معمولاً می‌دونن قدم بعدی چیه. مشکل اصلی بهره‌وریه، یعنی گرفتن‌های ناموفق و اشتباه تو تخمین فاصله. مثلاً تو چیدن کاسه‌ها، سنسور گیره بعد از گرفتن دیواره‌ی نازک کاسه همون عددی رو نشون می‌داد که گیره‌ی خالی. مدل‌های قوی‌تر با بلند کردن کاسه چک می‌کردن، ولی ضعیف‌ترها دوباره و دوباره می‌گرفتنش.

سرعت و هزینه هم سریع بهتر شده. بهترین نرخ از ۱۲.۴ زیرکار در ساعت به ۵۴.۴ رسیده و کمترین هزینه از ۲.۳۶ دلار به ۰.۳۸ دلار برای هر زیرکار اومده پایین. ولی هیچ مدلی تو همه‌چی برنده نیست. GPT-6 Astra سریع‌ترینه ولی ۴.۵۱ دلار برای هر زیرکار خرج داره، و Gemini 3.8 Flash ارزون‌ترینه ولی ۴.۱۸ دقیقه طول می‌کشه.

نویسنده‌ها معتقدن کنترل بازوی رباتیک مهم‌ترین مهارت برای کارهای آزمایشگاهی شیمی و زیسته و همین نگرانی امنیتی می‌سازه، چون الان سختی کار عملی جلوی خیلی از سوءاستفاده‌ها رو می‌گیره. با یه برون‌یابی خیلی ساده، حدس می‌زنن مدل‌ها تا اواسط ۲۰۲۷ به سرعت اپراتورهای انسانی برسن که هر کارو تو ۲۵ تا ۴۰ ثانیه انجام می‌دن.

نکات کلیدی:

• زمان دو برابر شدن عملکرد بین ژوئیه تا اکتبر ۲۰۲۶ حدود ۵۳.۹ روز بوده.
• بهترین نرخ اجرا ۴.۴ برابر شده و کمترین هزینه ۶.۲ برابر پایین اومده.
• بهترین مدل‌ها میانگین امتیاز ۴۵ تا ۴۸ درصد گرفتن و تکمیل کامل کارها هنوز کمه.
• هر آزمایش سقف ۴۰ حرکت داشت و هر ترکیب مدل و کار ۲۰ بار تکرار شد.
• پیش‌بینی ساده‌ی نویسنده‌ها: رسیدن به سرعت اپراتور انسانی تا اواسط ۲۰۲۷.