ReactBench؛ وقتی پاس شدن تستها کافی نیست
ریاکت
فرانتاند
تستخلاصهٔ کاملتر
تیم سازندهٔ ReactBench میگه مسئله اینه که مدلهای امروزی تو بنچمارکها تست پاس میکنن، ولی همون کد React تو پروداکشن شکست میخوره. دلیلش سادهست: تست رفتار رو تأیید میکنه، اما کاری به مشکلات performance، دسترسپذیری و کیفیت کد React نداره. ReactBench دقیقاً برای پر کردن همین شکاف ساخته شده.
سه چیز این بنچمارک رو متفاوت میکنه. اول، سطح قبولی بالاتر: هر راهحل باید هم تستهای رفتاری رو پاس کنه هم از React Doctor رد شه؛ یه ورایفایر متنباز و قطعی با بیش از ۴۰۰ قانون که دنبال افکتهای خراب، رندرهای بیمورد، مشکلات دسترسپذیری و مسائل نگهداریپذیری میگرده. دوم، سازندههاش همون تیم React Doctor، React Scan و Million.js هستن. سوم، تسکها از مخزنهای متنباز واقعی میآن، نه پازل مصنوعی.
ارزیابی دو توانایی مکمل رو میسنجه. تو Write React باید یه فیچر یا رفع باگ واقعی پیاده بشه، تستهای رفتاری کنارگذاشتهشده پاس شن و هیچ مشکل جدیدی هم به React Doctor اضافه نشه. تو Fix React باید خطاهای React موجود بازآرایی بشن، بدون اینکه رفتار قبلی خراب شه یا ایراد تازهای ساخته شه. عدد گزارششده هم میانگین pass@1 روی ۵ اجراست.
نتیجه به گفتهٔ تیم هنوز اشباعنشدهست: GPT-5.6 Sol روی XHigh با ۴۳.۱ درصد بالاترین امتیاز کل رو داره و Claude Fable 5 روی XHigh به ۴۱.۲ درصد میرسه. از نظر هزینه، Fable بهطور میانگین ۷.۹۷ دلار در هر اجرا خرج برمیداره در برابر ۱.۳۷ دلار Sol، یعنی ۵.۸ برابر. جالبتر اینکه GPT-5.6 Terra روی Medium با ۳۸ درصد فقط ۵.۱ واحد از صدرنشین عقبه ولی ۶۳.۲ درصد ارزونتر تموم میشه — بهترین معاملهٔ عملی برای بار کاری زیاد.
تحلیل شکستها هم گویاست. تو ۴٬۴۵۵ اجرای Write React، مدلها ۱٬۱۹۴ ایراد نمرهدار React Doctor ساختن که ۹۲۵ تاش (۷۷.۵٪) باگ بوده، از جمله یافتههای امنیتی؛ شایعترینشون هم به رندر لیست و درستی هوکها برمیگرده. الگوی شکست دو تسک فرق داره: از ۲٬۴۸۶ اجرای ناموفق Write، ۶۵.۳٪ تست رفتاری رو رد کردن ولی React Doctor رو پاس شدن، و از ۳٬۲۱۹ اجرای ناموفق Fix، ۶۰.۸٪ برعکس.
چرا اینقدر مهمه؟ چون React فریمورک غالب فرانتانده و حدود ۷۰ درصد سایتهایی که روی یه فریمورک جاوااسکریپتی ساخته شدن سراغش میرن. نویسندهها ریسک رو با مثال واقعی نشون میدن: کلادفلر قطعی داشبورد و API خودش تو سپتامبر ۲۰۲۵ رو به یه useEffect با آرایهٔ وابستگی معیوب ردیابی کرد — با وجود بازبینی انسانی و تست. کندی رابط هم مستقیم به درآمد میخوره و دسترسناپذیری ریسک حقوقی میسازه؛ WebAIM روی ۹۵.۹ درصد از یک میلیون صفحهٔ اول وب خطای خودکار دسترسپذیری پیدا کرده.
ساخت تسکها هم سختگیرانهست: پولریکوئستهای مرجشده استخراج و فیلتر میشن (حداقل ۵۰ خط تغییر، ۴۰ خط افزوده، مرجشده از اول فوریهٔ ۲۰۲۶ به بعد و مخزن با کمتر از ۲۰ هزار ستاره تا کمتر در معرض دادهٔ آموزش باشن)، بعد به دستور issue-مانند تبدیل میشن. نمرهدهی «اتاق تمیز» ـه: ایجنت و ورایفایر تو کانتینرهای جدا اجرا میشن، ورایفایر آفلاینه و ایجنت به تستهای مخفی دسترسی نداره. یه ایجنت متخاصم هم مدام تلاش میکنه بدون انجام کار نمرهٔ کامل بگیره تا جلوی ریوارد هکینگ گرفته شه.
تیم محدودیتها رو هم صریح میگه: این بنچمارک ایجنتها رو میسنجه نه مدلها رو بهتنهایی، پس تفاوت هارنسهایی مثل Codex CLI، Claude Code، Cursor و Gemini CLI روی نتیجه اثر داره. ضمن اینکه چکها درستی بصری رو تضمین نمیکنن و دامنه هم فعلاً پروژههای React متنبازه. برنامهٔ بعدی، افزودن مدلهای بیشتر، اجرای روی mini-swe-agent و گسترش به طراحی بصری و فریمورکهای دیگهست.
نکات کلیدی:
- هر راهحل باید هم تست رفتاری رو پاس کنه هم اسکن React Doctor با بیش از ۴۰۰ قانون
- GPT-5.6 Sol روی XHigh با ۴۳.۱٪ صدرنشینه و Claude Fable 5 با ۴۱.۲٪ دنبالش
- Fable حدود ۵.۸ برابر Sol هزینه داره؛ Terra روی Medium بهترین نسبت کیفیت به هزینهست
- تسکهای Write بیشتر روی رفتار شکست میخورن و تسکهای Fix روی مشکلات حلنشدهٔ React
- شایعترین ایرادها: رندر لیست و درستی هوکها؛ ۷۷.۵٪ ایرادها باگ بودن
- تسکها از PRهای واقعی بعد از فوریهٔ ۲۰۲۶ و مخزنهای زیر ۲۰ هزار ستاره ساخته شدن
