مدل‌های هوش مصنوعی حالا Slay the Spire رو می‌برن
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
تیم Epoch AI یه بنچمارک تازه به اسم SpireClimb معرفی کرده که می‌سنجه مدل‌های زبانی چقدر تو بازی‌های Slay the Spire 1 و Slay the Spire 2 خوب عمل می‌کنن. این بازی یه بازی کارتی تک‌نفره‌ست که شانس، اطلاعات پنهون و یه درخت تصمیم‌گیری خیلی بزرگ داره. برای همین سال‌ها هم جلوی روش‌های کلاسیک یادگیری ماشین و هم جلوی LLMها مقاومت کرده بود. به گفته‌ی Epoch، این وضعیت داره خیلی سریع عوض میشه.
روش تست این‌جوریه که مدل‌ها از طریق یه computer-use harness تصویری (یعنی مدل صفحه رو می‌بینه و مثل آدم با ماوس و کیبورد بازی می‌کنه) بر پایه‌ی Inspect ReAct بازی می‌کنن. هر مدل برای هر کاراکتر تو هر بازی ۱۵ بار شانس مستقل داره، روی مجموعه‌ای ثابت از seedها. مدل‌ها اجازه دارن یادداشت بردارن تا بعد از فشرده شدن context اطلاعاتشون از دست نره، و می‌تونن ویکی بازی رو هم ببینن. هدف اینه که بفهمن یه کاربر معمولی که فقط به اپ دسکتاپ یه LLM بگه «برام Slay the Spire بازی کن» به چه نتیجه‌ای می‌رسه.
تو بازی اول، مدل‌های پیشرو حالا سطح پایه یعنی Ascension 0 رو حداقل ۹۰ درصد مواقع می‌برن، در حالی که شش ماه پیش به زور می‌بردن. تو سخت‌ترین حالت، یعنی Ascension 20 Heart که باید باس اختیاری و خیلی سخت The Heart رو هم شکست بدی، GPT-6 Astra به برد ۱۷ درصد و GPT-6.1 Sol به برد ۲۰ درصد رسیده. این عدد چند ماه پیش صفر بود. عملکرد Sol بین کاراکترها تقریباً شبیه آمار XecnaR هست که بهترین بازیکن این بازی حساب میشه: با Ironclad و Watcher بهتر و با Silent و Defect ضعیف‌تر.
یه نگرانی اینه که شاید آزمایشگاه‌ها مستقیم روی بازی اول مدل‌ها رو آموزش داده باشن، چون مدل‌ها کلی اطلاعات دقیق از استراتژی‌های این بازی تو استدلالشون نشون می‌دن. برای همین نسخه‌ی دوم مهمه، چون اون‌قدر جدیده که احتمالاً تو داده‌ی آموزشی نیست. Epoch نسخه‌ی بازی رو روی v0.107.1 ثابت نگه داشته. تو سخت‌ترین حالت StS2 یعنی Ascension 10، مدل‌ها به برد بالای ۲۵ درصد رسیدن، تقریباً دو برابر بازی اول. البته این نسخه چون هنوز باس نهایی سختی مثل The Heart نداره کلاً آسون‌تره. به نظر نویسنده‌ها، این نتیجه نشون می‌ده مدل‌ها تو بازی ناآشناتر جریمه‌ی جدی نمی‌خورن.
Epoch خودش قبول داره که این روش احتمالاً همه‌ی توان استدلال مدل‌ها رو بیرون نمی‌کشه. هنوز اشتباه‌های رابط کاربری پیش میاد و بازی کردن با رابط گرافیکی ممکنه مدل رو به تصمیم‌های عجولانه‌تر بکشونه. نویسنده‌ها انتظار دارن این بنچمارک تو چند نسل بعدی مدل‌ها اشباع بشه، ولی می‌گن چون داده‌ی زیادی از بازیکن‌های انسانی هست، برای دنبال کردن سرعت پیشرفت هوش مصنوعی ابزار خوبیه.
نکات کلیدی:
- مدل‌های پیشرو حالا Ascension 0 تو Slay the Spire 1 رو حداقل ۹۰ درصد مواقع می‌برن.
- GPT-6.1 Sol تو Ascension 20 Heart به برد ۲۰ درصد و GPT-6 Astra به ۱۷ درصد رسیده، در حالی که چند ماه پیش صفر بود.
- تو Slay the Spire 2 (نسخه‌ی ثابت v0.107.1) روی Ascension 10 برد مدل‌ها بالای ۲۵ درصده.
- بازیکن‌های برتر انسانی تو سخت‌ترین حالت هر دو بازی معمولاً بالای ۸۰ درصد می‌برن.
- هر مدل برای هر کاراکتر ۱۵ تلاش مستقل داره و از طریق یه harness تصویری مثل آدم بازی می‌کنه.
