‏بنچمارک Blood on the Clocktower: مدل‌هایی که باید دروغ بگن تا ببرن

Dwarkesh Patel تو این پست تعریف می‌کنه که مدل‌های مختلف رو وادار کرده بازی Blood on the Clocktower رو با هم بازی کنن. این بازی شبیه مافیاست: یه تیم خوب و یه تیم شرور داریم، اعضای شرور همدیگه رو می‌شناسن و رهبرشون Demon هست. هر روز همه به اعدام یه نفر رای می‌دن و هر شب Demon یکی رو می‌کشه. تیم شرور باید داستان قانع‌کننده بسازه و دروغ‌هاش رو با هم هماهنگ نگه داره، و تیم خوب باید با اطلاعات ناقص و گاهی دستکاری‌شده Demon رو پیدا کنه.

نویسنده حدود ۲۰ هزار دلار اعتبار API خرج کرده و ۳۸۶ بازی اجرا کرده که توشون کل یه تیم کپی‌های یه مدل و تیم مقابل کپی‌های مدل دیگه بودن. طبق رتبه‌بندی Elo، مدل GPT-6 Astra که سپتامبر اومد بهترینه و حدود ۴۳۰ امتیاز از Claude Opus 4.6 (فوریه) جلوتره، یعنی تقریباً ۹۲٪ بازی‌ها رو ازش می‌بره. مدل‌های OpenAI از GPT-5.4 تا Astra حدود ۵۸۰ امتیاز بالا رفتن، که یعنی ۹۷٪ برد.

به گفتهٔ نویسنده برتری OpenAI بیشتر وقتیه که تیم خوب هستن. مثلاً تو یه بازی یکسان که دو بار با جابه‌جایی تیم‌ها اجرا شد، تیم شرور قدرت Slayer (یعنی نقشی که یه بار می‌تونه به Demon شلیک کنه) رو از قبل خنثی کرده بود. Claudeها فوراً نتیجه گرفتن مشکوک بی‌گناهه چون نمرد. ولی GPTها گفتن این شلیک ناموفق چیزی رو ثابت نمی‌کنه، فهمیدن که خرابکاری شده و Demon درست رو اعدام کردن.

نمونه‌های جالبی از نقشه‌کشی هم آورده. تو یکی، Opus 5.5 تو تیم شرور یه عضو داشت که اگه Demon می‌مرد، جاش رو می‌گرفت. این بازیکن خودش با جمع به اعدام Demon رای داد و قبلش یه «قرار» گذاشت که اگه بازی تموم نشد، فردا Saint اعدام بشه. Saint همون نقشیه که اعدامش یعنی برد فوری تیم شرور. همین هم شد و تیم شرور برد.

چند سوال دیگه هم بررسی شده. باهوش‌تر شدن همهٔ بازیکن‌ها به نفع هیچ‌کدوم از دو طرف نیست، یعنی این بنچمارک به این زودی اشباع نمی‌شه. یه تیم ترکیبی از Opus 5.5 و GPT-5.6 Sol تو حدود ۱۳۰ بازی حتی کمی بدتر از تیم‌های تک‌مدلی بازی کرد، ولی این تفاوت از نظر آماری معنادار نبود.

نویسنده می‌گه بیشتر کار ساخت محیط، حتی بخش قضاوت، رو Claude انجام داده. Claude محیط رو تغییر می‌داد، چند ده بازی اجرا می‌کرد و subagentها همهٔ بازی‌ها رو می‌خوندن تا ناعادلانه بودن رو گزارش کنن. محیط بیش از ۲۰ بار این‌جوری اصلاح شد. به نظر نویسنده این خیلی شبیه ساختن محیط RL‌ـه، یعنی احتمالاً مدل‌ها تو ساخت محیط‌های آموزش خودشون هم خیلی بهتر شدن. کدش رو هم منتشر کرده و یه سایت ساخته که آدم‌ها جلوی AIها بازی کنن.

نکات کلیدی:

• ۳۸۶ بازی با هزینهٔ حدود ۲۰ هزار دلار API اجرا شد.
• GPT-6 Astra با ۴۳۰ امتیاز Elo بالاتر از Claude Opus 4.6 حدود ۹۲٪ بازی‌ها رو می‌بره.
• مدل‌های OpenAI از GPT-5.4 تا Astra حدود ۵۸۰ امتیاز Elo پیشرفت کردن.
• مزیت اصلی OpenAI تو تیم خوبه: شک بیشتر به شواهد تکی.
• تیم ترکیبی Opus 5.5 و GPT-5.6 Sol بهتر از تیم‌های تک‌مدلی نبود.
• راوی بازی به‌جای آدم، یه جدول احتمالات برنامه‌نویسی‌شده‌ست.
• محیط با کمک Claude و subagentها بیش از ۲۰ بار بازطراحی شد.