‏GPT-6 Astra تو تست بازوی رباتیک از Fable جلو زد

RoboCurve تو ادامهٔ مقایسهٔ قبلی‌ش بین Fable 5 و 5.1، این بار GPT-6 Astra رو پشت همون بازوهای دوتایی YAM گذاشته، با همون سیاست ایجنت و همون دو کار: «مکعب قرمز رو از روی میز بردار و بذار توی کاسه» و «قطعهٔ گرد پازل رو از دستگیرهٔ وسطش بردار و بذار توی شیار دایره‌ای متناظرش». هر مدل هر کار رو ۲۰ بار انجام داده و یه داور انسانی بر اساس بالاترین مرحله‌ای که بهش رسیده نمره داده، پس اجرای ناموفق هم ثبت می‌شه که تا کجا پیش رفته.

تو کار کاسه فاصله زیاده. Astra ۱۹ اجرا از ۲۰ رو کامل کرد، Fable 5.1 هشت تا و Fable 5 فقط یکی. میانگین زمان هر اجرا ۲.۵ دقیقه بود در برابر ۶.۸ دقیقه، و هزینهٔ تخمینی هر اجرا ۰.۹۴ دلار در برابر ۲.۱۲ دلار. جالب‌تر اینکه Astra این کار رو با حدود ۲.۱ هزار توکن خروجی در هر اجرا انجام داده، در حالی که Fable 5.1 حدود ۱۲.۹ هزار توکن مصرف کرده.

کار پازل ولی داستان دیگه‌ایه. Astra ۲ بار از ۲۰ قطعه رو جا انداخت، دقیقاً مثل Fable 5.1 که اونم ۲ از ۲۰ بود. به گفتهٔ گزارش، Astra تا خود شیار می‌ره و همون قدم آخر گیر می‌کنه، یعنی همون‌جایی که Fable هم متوقف می‌شه. نمره‌دهی مرحله‌ای هم اینو نشون می‌ده: میانگین مرحلهٔ Astra تو کار کاسه ۳.۹۵ از ۴ بوده ولی تو پازل ۲.۰۰.

گزارش خودش چند تا محدودیت رو هم شمرده: اجراهای Astra دو روز بعد از Fable و بدون درهم‌آمیختن انجام شده، کار کاسه برای Astra روی یه rig دیگه اجرا شده چون rig قبلی در دسترس نبوده، داور موقع نمره‌دهی می‌دونسته کدوم مدله (پس سوگیری ناخودآگاه ممکنه)، و هزینه‌ها با قیمت لیست حساب شده بدون احتساب کش شدن بخشی از ورودی Astra. همهٔ مدل‌ها هم فقط با تلاش استدلالی متوسط اجرا شدن.

نکات کلیدی:

• کار کاسه: ۱۹ از ۲۰ برای GPT-6 Astra، ۸ از ۲۰ برای Fable 5.1 و ۱ از ۲۰ برای Fable 5
• کار پازل: هر دو مدل ۲ از ۲۰، با میانگین مرحلهٔ ۲.۰۰ برای Astra
• هزینهٔ تخمینی هر اجرا تو کار کاسه: ۰.۹۴ دلار در برابر ۲.۱۲ دلار
• مصرف توکن خروجی Astra حدود ۲.۱ هزار در هر اجرا بود، تقریباً یک‌ششم Fable 5.1
• در مجموع ۱۲۰ اجرا شمارش شده، ۲۰ اجرا برای هر مدل در هر کار