تست عملی GPT 6.1 Terra در برابر Claude Opus 5.5
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
تو این مقاله یه مقایسهٔ عملی بین GPT 6.1 Terra و Claude Opus 5.5 اومده. هر دو مدل پرامپت‌های یکسان گرفتن و هر کدوم با effort حداکثر روی harness خودشون اجرا شدن (یعنی محیط کدنویسی ایجنتی مخصوص خودشون): Terra روی Codex و Opus روی Claude Code. هر دو کار هم‌زمان شروع شدن تا زمان و مصرف توکن مستقیم مقایسه بشه.
پروژه‌ها متنوع بودن: یه کرهٔ زمین با نمایش زندهٔ طوفان‌ها، شبیه‌سازی کشتی تو دریای طوفانی به اسم «The Long Night»، یه دموی ساختمون‌سازی شبیه Minecraft، یه بازی مسابقه‌ای الهام‌گرفته از Mario Kart و یه لندینگ پیج ساعت به اسم «Meridian». نویسنده می‌گه این تنوع مهمه، چون فقط درستی کد رو نمی‌سنجه و انیمیشن، تجربهٔ کاربری و فیزیک تعاملی رو هم می‌سنجه.
برتری اصلی Terra سرعت و هزینه بود. به‌طور میانگین حدود ۲۴ دقیقه در برابر ۴۴ دقیقهٔ Opus طول کشید و حدود یه‌سوم توکن خروجی مصرف کرد. با قیمت پایین‌تر هر توکن، هزینهٔ کلش حدود یک‌دوازدهم شد. تو دموی کرهٔ زمین، نسخهٔ Terra قشنگ‌تر بود، هرچند نسخهٔ Opus زوم بیشتر و افکت‌های هم‌زمان بیشتری داشت. تو دموی Minecraft هم Terra پا‌به‌پا جلو اومد.
Opus 5.5 وقتی کار پیچیده‌تر شد جلو افتاد. تو لندینگ پیج Meridian، نسخهٔ Opus کامپوننت‌های طراحی بیشتر، کیفیت بصری بهتر و المان‌های سه‌بعدی کارا داشت که تو نسخهٔ Terra اصلاً نبود. تو بازی مسابقه‌ای هم Terra یه انتخاب عجیب کرده بود (یه موشک روی پیست) و تعاملاتش ضعیف بود. ولی بازی Opus بوست و کنترل بهتری داشت. تو شبیه‌سازی دریا فاصله کم بود و هیچ‌کدوم آب رو واقعی درنیاوردن.
بنچمارک‌ها هم همین الگو رو نشون می‌دن. روی Agents Last Exam، Terra روی Pareto frontier قرار می‌گیره، یعنی بهترین ترکیب امتیاز بالا با هزینهٔ کم. Terra حدود ۹۵ تا ۹۷ درصد امتیاز Opus رو با یک‌نهم تا یک‌یازدهم هزینه می‌گیره. طبق مقاله، Terra تو بنچمارک‌های بینایی هم خوب بوده و کمترین نرخ خطای اطلاعاتی رو بین مدل‌های مقایسه‌شده داشته.
یکی از جالب‌ترین دموها computer-use بود، یعنی مدل خودش با کلیک و درگ یه نرم‌افزار گرافیکی رو کنترل کنه. Terra یه برنامهٔ نقاشی رو بدون تسریع ویدیو و با سرعتی کار کرد که از کنترل دستی سریع‌تر به نظر می‌رسید. نویسنده معتقده این برای خودکارسازی کارهایی مثل پر کردن فرم و تست مهمه. جمع‌بندیش اینه که Terra برای کدنویسی روزمره پیش‌فرض بهتریه، ولی برای طراحی و کار سه‌بعدی، Opus 5.5 هنوز ارزش هزینهٔ بیشترش رو داره.
نکات کلیدی:
- Terra به‌طور میانگین حدود ۲۴ دقیقه و Opus 5.5 حدود ۴۴ دقیقه طول کشید.
- Terra حدود یه‌سوم توکن خروجی مصرف کرد و هزینهٔ کلش حدود یک‌دوازدهم Opus 5.5 بود.
- روی Agents Last Exam، Terra حدود ۹۵ تا ۹۷ درصد امتیاز Opus رو با یک‌نهم تا یک‌یازدهم هزینه گرفت.
- تو لندینگ پیج Meridian، Opus 5.5 المان‌های سه‌بعدی کارا ساخت که نسخهٔ Terra نداشت.
- Terra کمترین نرخ خطای اطلاعاتی رو بین مدل‌های مقایسه‌شده داشت.
