بنچمارک Blood on the Clocktower: کدوم مدل بهتر دروغ رو می‌گیره؟
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
سازنده این بنچمارک حدود ۲۰ هزار دلار اعتبار API خرج کرده تا ۳۶۸ بازی کامل از Blood on the Clocktower بین مدل‌های هوش مصنوعی اجرا کنه. این یه بازی استنتاج اجتماعیه شبیه مافیا یا Werewolf: هر بازیکن یه نقش مخفی با قدرت خاص داره، تیم بدجنس همدیگه و demon (قاتل اصلی تیم) رو می‌شناسن و تیم خوب هیچی نمی‌دونه. روزها همه بحث می‌کنن و یه نفر رو با رأی اعدام می‌کنن، شب‌ها demon یکی رو می‌کشه. امتیازها به سبک ELO (یعنی رتبه‌بندی بر اساس نتیجه رودررو، مثل شطرنج) حساب میشه.
به گفته نویسنده، این بازی چیزایی رو می‌سنجه که بنچمارک‌های معمولی سراغش نمی‌رن: ساختن یه داستان دروغ که زیر سؤال‌پیچ دووم بیاره، هماهنگی مخفی با هم‌تیمی‌ها، و استدلال گروهی وقتی معلوم نیست کدوم اطلاعات خرابه. تو هر مسابقه همه تیم خوب از یه مدل و همه تیم بدجنس از یه مدل دیگه بودن، تا اثر هم‌تیمی‌های متفاوت حذف بشه.
الان GPT-6 Astra صدر جدوله و تو حدود ۹۲ درصد بازی‌ها Claude Opus 4.6 رو برده که یعنی حدود ۴۳۰ امتیاز ELO فاصله. جالب‌تر روند تغییراته: تو مارس GPT-5.4 از Opus 4.6 عقب‌تر بود، ولی تا سپتامبر GPT-6 Astra حدود ۵۸۰ امتیاز ازش جلو زد و تو ۹۷ درصد بازی‌ها پیشینیش رو برد. این برتری بیشتر وقتی دیده میشه که Astra تو تیم خوب بازی می‌کنه؛ یعنی بیشتر از اینکه بهتر دروغ بگه، کمتر گول می‌خوره.
نویسنده اسم این مهارت رو evidentiary skepticism می‌ذاره، یعنی هر سرنخ رو فقط یه داده کنار بقیه دیدن، نه یه حقیقت قطعی. مثالش نقش Slayer هست که یه بار تو بازی می‌تونه یکی رو demon اعلام کنه و اگه درست بگه demon می‌میره. تو یه جفت بازی با نقش‌های یکسان، Slayer به demon واقعی شلیک کرد ولی چون یه بدجنس شب قبل قدرتش رو از کار انداخته بود، نتیجه نداد. Claudeها اینو مدرک بی‌گناهی گرفتن و رد شدن؛ GPTها گفتن این شکست زیادی به‌موقعه، خرابکاری رو محتمل‌تر دونستن و آخرش demon واقعی رو اعدام کردن.
برای اندازه‌گیری مستقیم‌تر، هر روز از بازیکن‌های خوب خواسته می‌شد احتمال demon بودن بقیه رو تخمین بزنن و مدل‌های OpenAI سریع‌تر و دقیق‌تر به جواب درست رسیدن. با باهوش‌تر شدن هر دو طرف، نرخ برد تیم بدجنس فقط یه کم پایین اومده که تقریباً تو حد نویزه؛ نویسنده می‌گه این یعنی بنچمارک دیر اشباع میشه چون سختیش با مدل‌های روز بالا می‌ره. یه تیم ترکیبی از Opus 5.5 و یه نسخه GPT-5.6 هم تو حدود ۱۳۰ بازی یه کم بدتر از تیم‌های تک‌مدلی بود، ولی نه به شکل معنادار.
محدودیت اصلی اینه که بازی واقعی یه storyteller انسانی (داوری که موقعیت‌های مبهم رو مدیریت می‌کنه) داره. سازنده اونو با یه سیستم برنامه‌نویسی‌شده عوض کرده، در اصل یه جدول احتمال که شبیه داورهای باتجربه رفتار کنه. تنظیمش بیشتر از ۲۰ دور بازبینی طول کشیده و خود مدل‌ها بخش زیادیش رو انجام دادن. نویسنده می‌گه اعتبار کل بنچمارک به همین داور شبیه‌سازی‌شده بستگی داره که از بیرون سخت‌تر از یه دیتاست ثابت قابل بررسیه.
نکات کلیدی:
- حدود ۲۰ هزار دلار هزینه API برای ۳۶۸ بازی خرج شده.
- GPT-6 Astra تو ۹۲ درصد بازی‌ها Claude Opus 4.6 رو برده، با فاصله حدود ۴۳۰ ELO.
- از GPT-5.4 تا GPT-6 Astra حدود ۵۸۰ امتیاز ELO پیشرفت تو شش ماه.
- برتری OpenAI بیشتر تو تیم خوبه، یعنی تشخیص فریب، نه دروغ‌گویی.
- تیم ترکیبی Opus 5.5 و GPT-5.6 تو حدود ۱۳۰ بازی یه کم بدتر بود، ولی معنادار نبود.
- داور بازی یه سیستم احتمالاتیه که بیشتر از ۲۰ دور بازبینی شده.
