‏مدل Gemini Robotics ER 2 روی Google Cloud اومد

گوگل اعلام کرده Gemini Robotics Embodied Reasoning 2 (یا ER 2) حالا به‌صورت پیش‌نمایش عمومی روی پلتفرم Gemini در Google Cloud در دسترسه. ER 2 یه مدل تخصصی Geminiه که نقش «مغز سطح بالا»ی ربات رو بازی می‌کنه. یعنی خودش موتورها رو مستقیم کنترل نمی‌کنه، بلکه فکر می‌کنه، برنامه می‌ریزه و مدل‌ها و APIهای سطح پایین رو صدا می‌زنه. این مدل روی هر نوع بدنه‌ای کار می‌کنه، از بازوی ثابت و ربات چرخ‌دار تا چهارپا و انسان‌نما.

برای ساختن یه سیستم ایجنتی، توسعه‌دهنده رابط‌های کنترل سطح پایین رو به‌عنوان tool به مدل معرفی می‌کنه. مثلاً مدل‌های VLA (یعنی Vision-Language-Action، مدل‌هایی که دیدن و دستور متنی رو مستقیم به حرکت تبدیل می‌کنن) یا APIهای مسیریابی. بعد ویدیو، صدا یا متن رو مستقیم برای مدل استریم می‌کنه. مدل می‌تونه با دستور زبان طبیعی این ابزارها رو هماهنگ کنه، حین کار توضیح بده داره چی کار می‌کنه و اپراتور بدون زبان فنی مسیرش رو عوض کنه.

یکی از قابلیت‌های اصلی، فهمیدن اینه که یه مرحله واقعاً موفق بوده یا نه. ER 2 پیشرفت کار رو به‌صورت دودویی، دسته‌ای یا امتیاز پیوسته طبقه‌بندی می‌کنه تا مرحله‌ی شکست‌خورده بدون شروع دوباره‌ی کل workflow تکرار بشه. به گفته‌ی گوگل، فریم دقیق یه اتفاق مهم (مثلاً لحظه‌ی قطع ریختن مایع) رو با دقت ۹۱٫۳ درصد و میانگین خطای ۰٫۹۶ ثانیه پیدا می‌کنه و ۴ برابر سریع‌تر از خیلی از مدل‌های بزرگ‌تره. همچنین می‌تونه بیش از ۱۰ دسته ابزار اندازه‌گیری مثل عقربه‌ها، نمایشگرهای دیجیتال و دماسنج‌ها رو از روی تصویر بخونه.

بخش Google Cloud هم کل چرخه رو پوشش می‌ده: شبیه‌سازی رفتار ربات تو محیط‌هایی مثل MuJoCo-Warp و NVIDIA Isaac Sim قبل از دست زدن به سخت‌افزار، برچسب‌گذاری ویدیوهای آموزشی تو Cloud Storage و BigQuery و آموزش مدل‌های VLA اختصاصی روی GKE یا Cluster Director. برای اجرا هم IAM سازمانی و function calling آماده هست و کارهای حساس به تأخیر مثل SLAM و مسیریابی با Google Distributed Cloud روی خود کارخونه اجرا می‌شن.

شرکت‌هایی مثل Boston Dynamics (برای بازرسی ویدیویی با ربات Spot)، DeepReach، Arm و مؤسسه‌ی ASTAR IMRE سنگاپور ازش استفاده می‌کنن. مثلاً ASTAR می‌گه رباتش حالا می‌تونه صفحه‌ی لمسی یه دستگاه قدیمی بدون API رو بخونه یا سانتریفیوژ رو بار بزنه. دسترسی از طریق Model Garden و Agent Studio تو پلتفرم Gemini ممکنه.

نکات کلیدی:

• ER 2 به‌صورت پیش‌نمایش عمومی روی پلتفرم Gemini در Google Cloud منتشر شده
• پیدا کردن فریم رویداد مهم با دقت ۹۱٫۳ درصد و خطای میانگین ۰٫۹۶ ثانیه
• خوندن بیش از ۱۰ دسته ابزار اندازه‌گیری از روی تصویر
• پشتیبانی از همکاری چند ربات با تقسیم کار و تحویل وظیفه
• شبیه‌سازی با MuJoCo-Warp و NVIDIA Isaac Sim قبل از استقرار روی سخت‌افزار