KingBench 4: پنج مدل کدنویسی جلوی شش پروژه سخت
هوش مصنوعیخلاصهٔ کامل‌تر
KingBench 4 یه بنچمارک مستقله که پنج مدل کدنویسی رو با شش پروژه سخت امتحان کرده: امولاتور Game Boy/DS/3DS، یه جایگزین Docker، طراح سه‌بعدی اتاق، configurator برای کیبوردهای QMK، بازسازی Pokémon Red و یه اپ فیتنس. هر پروژه از ۱۰ نمره گرفته و هیچ مدلی همه پروژه‌ها رو کامل تموم نکرده. مدل‌ها تو محیط کدنویسی خودشون اجرا شدن: GPT-6.1 Sol و GPT-6 Astra با Codex، Opus 5.5 و Haiku 5.5 با Claude Code و GLM 5.3 با Open Code. یعنی در واقع ترکیب مدل و ابزار مقایسه شده، نه خود مدل تنها.
هر پروژه یه session تازه و سقف ۶۰ دقیقه داشته و اپ‌ها «همون‌طور که تحویل شدن» نمره گرفتن، یعنی هیچ باگی قبل از نمره‌دهی درست نشده. چهار مدل اول ۳ اکتبر تست شدن و Haiku پنج روز بعد با یه نسخه جدیدتر Claude Code، که یه متغیر کوچیک ولی مهمه. کل نمونه ۳۰ تا ساخت پروژه‌ست، پس نباید رتبه‌ها رو به همه کارهای کدنویسی تعمیم داد.
امولاتور همه رو زمین زد. پروژه یه امولاتور Rust برای سه کنسول با save state می‌خواست. Sol و Astra هسته Game Boy کاملاً کارا ساختن که تو هر ۱۲ تست سخت‌افزاری قبول شد، ولی برای DS و 3DS فقط هدر فایل رو می‌خوندن و ۲.۲ گرفتن. Haiku ۱.۸ گرفت و GLM فقط یه برنامه ساخت که اسم پروژه رو چاپ می‌کرد و بسته می‌شد (۰.۶). Opus با ۳.۷ اول شد چون دو برنامه homebrew تستی DS رو واقعاً اجرا کرد، هرچند 3DS اصلاً نداشت.
تو جایگزین Docker هیچ‌کس ثابت نکرد از Docker بهینه‌تره، با اینکه این صریحاً خواسته شده بود. Sol با ۵.۰ بهترین بود: import و export آرشیو، حفظ tag و digest و جلوگیری از فرار از مسیر فایل رو درست انجام داد ولی port و ترمینال تعاملی نداشت.
Opus و Astra با ۴.۶ مساوی شدن. Opus کامل‌ترین دستورات container رو داشت ولی _white-out marker_ها (یعنی علامت‌هایی که می‌گن یه لایه باید فایل‌های لایه قبلی رو پاک کنه) رو اشتباه پیاده کرد و فایل‌های تازه همون لایه رو پاک می‌کرد. GLM و Haiku با ۳.۰ هر دو مشکل امنیتی داشتن: استخراج آرشیوشون می‌تونست فایل‌های بیرون از مسیر مقصد رو تغییر بده.
طراح سه‌بعدی اتاق قوی‌ترین بخش برای همه بود. Opus با ۸.۵ بهترین نور و متریال رو داشت ولی یه save رد‌شده رو موفق گزارش می‌کرد. Astra و Haiku با ۸.۳ دوم شدن و Haiku از نظر بهینگی رندر جلو بود، چون وقتی چیزی تکون نمی‌خورد رسم رو متوقف می‌کرد. Sol ۸.۰ و GLM ۷.۸ گرفتن.
configurator کیبورد بزرگ‌ترین فاصله بین ظاهر و عملکرد رو نشون داد. Sol و Astra رابط‌های قشنگی ساختن ولی بخش اصلی، یعنی خوندن و نوشتن keymap روی firmware وصل‌شده رو نداشتن و ۳.۰ گرفتن. GLM واقعاً به دستگاه وصل شد و ۴.۶ گرفت. Opus با ۷.۵ اول شد و تغییرات رو از دستگاه شبیه‌سازی‌شده دوباره خوند و تأیید کرد. Haiku با ۶.۷ دوم شد ولی یه حرف لهجه‌دار تو فیلد macro کل رابط رو کرش می‌داد.
نکات کلیدی:
- هر مدل ۶ پروژه رو با سقف ۶۰ دقیقه و session جدا ساخت و جمعاً ۳۰ ساخت نمره گرفت.
- Opus 5.5 تو امولاتور (۳.۷)، کیبورد (۷.۵) و طراح اتاق (۸.۵) اول شد.
- GPT-6.1 Sol با ۵.۰ بهترین جایگزین Docker رو ساخت.
- Haiku 5.5 تو طراح اتاق (۸.۳) و کیبورد (۶.۷) خیلی نزدیک به مدل‌های بزرگ بود.
- GLM 5.3 بیشتر وقت‌ها آخر بود و تو امولاتور ۰.۶ گرفت.
- هیچ مدلی امولاتور کارای DS یا 3DS نساخت و هیچ‌کدوم برتری جایگزین Docker رو نسبت به Docker ثابت نکردن.
- تست‌های کیبورد روی firmware شبیه‌سازی‌شده انجام شد، نه دستگاه واقعی.
