ReactBench: پاس شدن تستها دیگه کافی نیست
ریاکت
هوش مصنوعی
تستخلاصهٔ کاملتر
تیم Million تو معرفی ReactBench نوشته که بنچمارکهای فعلی کدنویسی یه سوراخ مشخص دارن: تستها فقط رفتار رو بررسی میکنن. یه مدل میتونه همهٔ تستها رو سبز کنه و همچنان ریاکتی بنویسه که تو محیط تولید شکست میخوره — افکتهای خراب، رندرهای غیرضروری، مشکلات دسترسپذیری و کدی که نگهداریش سخته.
برای همین سطح قبولی بالاتر رفته: هر راهحل باید هم تستهای رفتاری کنارگذاشتهشده رو پاس کنه و هم هیچ ایراد جدیدی تو اسکن React Doctor تولید نکنه. تسکها از بیش از ۵۰ مخزن متنباز ریاکت استخراج شدن؛ یعنی تغییرات واقعی روی پروژههای موجود، نه پازلهای ساختگی.
دو نوع تسک وجود داره. تو «نوشتن ریاکت»، ایجنت مخزن پایه و یه توضیح شبیه ایشو میگیره و باید فیچر یا رفع باگی رو پیاده کنه که از یه پولریکوئست مرجشده استخراج شده؛ پچ مرجع و ورفایر ازش پنهون میمونن. تو «رفع ریاکت»، ایجنت باید فقط از روی سورس، مشکلات ریاکتی رو تشخیص بده و برطرف کنه، بدون اینکه ایراد جدیدی بسازه یا تستهای خود پروژه رو بشکنه.
نکتهٔ ظریف تسک دوم اینه که لینترهای ریاکتآگاه از ایمیج ایجنت حذف شدن و فقط ورفایر اسکنر پینشده و خط پایهٔ تمیزشو داره. یعنی ایجنت باید واقعاً مسئله رو بشناسه، نه اینکه خروجی یه ابزار رو دنبال کنه.
نمرهدهی تو یه اتاق تمیز انجام میشه: ایجنت و ورفایر تو کانتینرهای جدا اجرا میشن و ورفایر قبل از نمرهدهی، متادیتای گیت، وابستگیها، کانفیگ محافظتشده، تستهای پنهان و باینری پینشدهٔ اسکنر رو برمیگردونه و بعد کاملاً آفلاین و بدون درخواست شبکه نمره میده. ایجنت هیچوقت به تستهای پنهان یا راهحل مرجع دسترسی نداره.
هر تسک روی یه کامیت تغییرناپذیر پین شده و دوتا کنترل کیفیت داره: راهحل مرجع باید نمرهٔ ۱ بگیره و مخزن دستنخورده باید نمرهٔ ۰ بگیره. ورفایر همون رفتاری رو میسنجه که پرامپت توصیف کرده و به اسم متغیرها یا ساختار داخلی کاری نداره؛ خیلی از ورفایرها کل اپ رو بالا میآرن و با Playwright تو یه کرومیوم واقعی نمره میدن.
زیرساختش هم روی Harbor سواره — همون فریمورک ارزیابی ایجنت تو سندباکس — و ایمیجها لایهلایه ساخته شدن: یه لایهٔ هارنس با Node و pnpm و CLI ایجنتها، و یه لایهٔ پایه با اسکفولد Vite و ریاکت و تایپاسکریپت. کانتینر ایجنت اینترنت نداره، پس همهچی از قبل داخل ایمیج پخته شده.
نکات کلیدی:
- شرط قبولی: هم تست رفتاری پنهان، هم صفر ایراد جدید تو اسکن کیفیت ریاکت
- تسکها از بیش از ۵۰ مخزن متنباز واقعی و پولریکوئستهای مرجشده استخراج شدن
- دو حالت تسک: پیادهسازی فیچر، و تشخیص و رفع مشکلات ریاکت از روی سورس
- نمرهدهی تو کانتینر جدا، آفلاین و با کنترلهای مرجع و مخزن دستنخورده انجام میشه
- خروجی هر اجرا شامل پچ کامل ایجنت و درخت سورس تغییریافتهست
