‏کدوم تیم مدل هوش مصنوعی بهتر کد می‌زنه؟

تو این مقاله یه بنچمارک عملی گزارش شده که پنج تیم دوتایی از مدل‌های هوش مصنوعی رو روی شش پروژهٔ کدنویسی سنجیده. هر تیم یه مدل lead داره (یعنی مدلی که کار رو برنامه‌ریزی و تقسیم می‌کنه و نتیجه رو بررسی می‌کنه) و یه یا چند مدل worker که کد واقعی رو می‌نویسن. به این تقسیم کار می‌گن orchestration. ادعای اصلی اینه که تصمیم‌های برنامه‌ریزیِ lead گاهی از مهارت خامِ worker توی نتیجه مهم‌تره.

برنده تیم Opus به‌عنوان lead و Sol به‌عنوان worker بود با ۴۴٫۲ امتیاز از ۶۰ (حدود ۷۳٫۷ درصد). Opus با Sonnet با ۴۳٫۷ امتیاز خیلی نزدیک دوم شد و بهترین نتیجهٔ تکی کل تست رو هم گرفت: ۷٫۱ از ۱۰ روی یه شبیه‌ساز Game Boy و DS و 3DS که با Rust نوشته شده. پروژه‌های دیگه یه جایگزین Docker، یه طراح سه‌بعدی اتاق، یه پیکربندی‌کنندهٔ کیبورد QMK، شروع یه بازی شبیه Pokémon و یه اپ دسکتاپ شبیه Fitbit بودن.

امتیازدهی فقط به کامپایل‌شدن کد نبود. تستر واقعاً باگ‌ها رو بازتولید می‌کرد و ذخیره و بارگذاری رو چک می‌کرد، به‌جای اینکه به گزارش خودِ lead اعتماد کنه. یه نمونهٔ خوب: تو طراح اتاق، انتخاب صندلی صفحه رو خالی می‌کرد. lead اول فکر کرد مشکل از اسکرین‌شاته، ولی تستر باگ رو دوباره نشون داد، worker درستش کرد و lead نتیجه رو تأیید کرد. نویسنده می‌گه orchestration خوب یعنی همین چرخه.

ضعف اصلی مال تیم‌هایی بود که Astra توشون lead بود. تو شبیه‌ساز، Astra برای DS و 3DS فقط کد بررسی فایل رو سپرد، نه اجرای بازی رو، و امتیازش به ۱٫۹ و ۲٫۲ رسید. تو کیبورد هم ارتباط با دستگاه رو کلاً از برنامه حذف کرد و ۲٫۸ گرفت. یعنی worker‌ها کارشون رو درست انجام دادن، ولی خودِ کاری که بهشون سپرده شده بود ناقص بود. با این حال Astra با Sonnet تو طراح اتاق (۹٫۳) و Pokémon (۹٫۱) بهترین بود.

خطاهای سهمیه و rate limit هم چند اجرا رو خراب کردن. مثلاً Astra با Sol روی Pokémon بعد از خطاهای HTTP 429 یه پوشهٔ کاملاً خالی تحویل داد و صفر گرفت. هیچ تیمی هم یه جایگزین واقعی برای Docker نساخت، چون هیچ‌کدوم ایزوله‌سازی پروسه رو پیاده نکردن. داده‌های هزینه هم ناقصه: فقط ۸ تا از ۳۰ اجرا مصرف توکن کامل داشتن، پس از حدود ۴۰۵ دلار هزینهٔ ثبت‌شده نمی‌شه ارزون‌ترین تیم رو درآورد. نویسنده خودش تأکید می‌کنه که هر تیم فقط یه بار اجرا شده و مقایسه با تک‌مدل هم انجام نشده.

نکات کلیدی:

• تیم Opus با Sol با ۴۴٫۲ از ۶۰ امتیاز اول شد و Opus با Sonnet با ۴۳٫۷ دوم.
• بهترین نتیجهٔ تکی ۷٫۱ از ۱۰ مال Opus با Sonnet روی شبیه‌ساز Rust بود.
• تیم‌های با lead از نوع Astra به‌خاطر برنامه‌ریزی ناقص تو شبیه‌ساز و کیبورد زیر ۳ امتیاز گرفتن.
• هیچ تیمی جایگزین واقعی Docker نساخت و همه حدود ۵ از ۱۰ گرفتن.
• فقط ۸ اجرا از ۳۰ داده مصرف توکن کامل داشتن، پس مقایسهٔ هزینه قابل اعتماد نیست.
• هر تیم فقط یه اجرا داشت و تست مقایسه با تک‌مدل انجام نشد.