GPT-6 Astra تو بازی دروغ و فریب از Claude جلو زد
خلاصهٔ کاملتر
یه پژوهشگر بنچمارکی ساخته بر پایهٔ بازی Blood on the Clocktower، یه بازی فریب اجتماعی شبیه مافیا. بازیکنها دو تیم خوب و بدن. تیم بد همدیگه رو میشناسن و یه «demon» دارن که هر شب یکی رو میکشه. تیم خوب نمیدونه کی کیه و باید از بین شهادتها، اطلاعات ناقص و دروغها حقیقت رو پیدا کنه. به گفتهٔ سازنده، تو صدها بازی نمیشه بدون مهارت واقعی شک کردن، هماهنگی و بلوف زدن دووم آورد.
بر اساس ۳۶۸ بازی که هر تیم کامل از یه مدل بوده، GPT-6 Astra (منتشرشده تو سپتامبر) اول جدوله و حدود ۴۳۰ امتیاز ELO (یعنی سیستم رتبهبندیای که از شطرنج اومده) از Claude Opus 4.6 جلوتره. این یعنی تقریباً ۹۲ درصد بردِ رودررو. تا همین مارس، GPT-5.4 از Opus 4.6 عقب بود. از GPT-5.4 تا Astra حدود ۵۸۰ امتیاز ELO پیشرفت ثبت شده و Astra حدود ۹۷ درصد بازیها رو از نسخهٔ قبلی خودش میبره.
این پیشرفت بیشتر وقتی دیده میشه که Astra تو تیم خوب بازی میکنه، نه تیم بد. عامل اصلی شکاکیتـه: مدلهای جدید OpenAI هر مدرک رو موقت حساب میکنن و با بقیهٔ اتفاقهای بازی میسنجن. یه نمونهٔ ثبتشده: نقش «slayer» به کسی که فکر میکنه demon هست شلیک میکنه و شلیک خطا میره، که معمولاً یعنی طرف بیگناهه. تیمهای Claude فوری قبولش کردن، ولی تیمهای GPT احتمال دادن تیم بد عمداً قدرت slayer رو خراب کرده و فرداش demon واقعی رو اعدام کردن.
سؤال دیگه این بود که باهوشتر شدن همهٔ مدلها به نفع دروغگوهاست یا حقیقتجوها. جواب روشنی پیدا نشد؛ نرخ برد تیم بد کمی پایین اومد ولی نه اونقدر که از شانس قابل تشخیص باشه. نویسنده میگه این ویژگی خوبیه، چون یعنی بنچمارک با اومدن مدلهای جدید زود اشباع نمیشه؛ سختیش رو حریفها تعیین میکنن، نه یه دیتاست ثابت.
تو یه آزمایش کوچیکتر، تیمی نصف Opus 5.5 و نصف GPT-5.6 حدود ۱۳۰ بازی کرد و کمی بدتر از تیمهای تکمدلی نتیجه گرفت، هرچند تفاوت از نظر آماری معنادار نبود. سازنده حدود ۲۰ هزار دلار اعتبار API خرج کرده که بیشترش صرف متعادل کردن قوانین بازی شده، و خیلی از این کار طراحی رو هم خود Claude با نظارت کم انسانی انجام داده. این نتایج دربارهٔ کدنویسی یا ریاضی چیزی نمیگه و فقط شک کردن و هماهنگی تو شرایط رقابتی رو میسنجه.
نکات کلیدی:
- GPT-6 Astra حدود ۴۳۰ امتیاز ELO جلوتر از Claude Opus 4.6، یعنی حدود ۹۲ درصد برد
- نتایج بر پایهٔ ۳۶۸ بازی تیمهای تکمدلی
- جهش GPT-5.4 تا GPT-6 Astra حدود ۵۸۰ امتیاز ELO بوده
- برتری بیشتر تو تیم خوب و به خاطر شکاکیت بیشتره
- تیم ترکیبی Opus 5.5 و GPT-5.6 تو حدود ۱۳۰ بازی کمی ضعیفتر بود
- هزینهٔ ساخت بنچمارک حدود ۲۰ هزار دلار اعتبار API




