سازندهی ffetch با ۲۱ سناریو ۱۱ کتابخونهی fetch رو تست کرده؛ ریترای ساده همهجا جواب میده، ولی وقتی وسط انتظار abort بیاد اوضاع خراب میشه.
یه فریمورک تست TypeScript که کارهای ایجنت رو به خاطر میسپاره و دفعهٔ بعد بدون صدا زدن مدل اجراشون میکنه، روی وب و موبایل.
یه فریمورک تست جدید که بهجای نوشتن قدمبهقدم کلیکها، هدف رو به زبان ساده میگیری و یه ایجنت خودش اپ رو تا اونجا میبره.
MCP Apps حالا رابط کاربری واقعی رو داخل کلاینت هوش مصنوعی نشون میدن، ولی نه مشخصات و نه راهنمای رسمی تست حرفی از دسترسپذیری نزدن. این مقاله یه روش عملی برای تستش پیشنهاد میده.
یه WorkerCrashedException خالی چند ساعت وقت گرفت تا معلوم شد مقصر یه exit() تو کد میراثیه، نه خود اجرای موازی تستها.
نگهدارنده Truss یه صفحه ساخت که اسکیمای MySQL رو تو مرورگر رسم کنه؛ همون موقع فهمید کدش سالها به ورودیای اعتماد میکرده که دیگه قابل اعتماد نیست.
مرورگرها خیلی از خطاهای HTML رو بیصدا رد میکنن، ولی صفحهخوانها و موتورهای جستوجو نه. این ابزار مارکاپ رو با استاندارد HTML و WAI-ARIA میسنجه و قواعد خود تیم رو هم خودکار چک میکنه.
تستی که گاهی فقط بهخاطر یه ثانیه اختلاف fail میشه، معمولاً تقصیر خود زمانه. استاندارد PSR-20 یه راه ساده برای کنترلش پیشنهاد میده.
جاناتان پرویس پکیجی داده که تست فاز رو با همون سینتکس Pest مینویسی و همراه بقیه تستها اجرا میشه؛ خودش هزاران ورودی عجیب میسازه تا کدت بشکنه.
این پکیج ایمیلهای خروجی اپ رو میگیره و تو مسیر /mailbox نشونت میده، بدون اینکه سرویس یا پروسهٔ جدا لازم باشه. یه API تست هم داره که روی ایمیل رندرشده assert بزنی.
ماههاست بحث اینه که مدلها بعد از انتشار بیصدا ضعیف میشن یا نه، و جواب همیشه حس بوده. یک پروژهٔ مستقل از همون هفتهٔ انتشار Opus 5.5 شروع کرده به اندازهگیری روزانه با پروتکل از قبل ثبتشده.
Vite+ 1.0 یه دستور داره که کانفیگ Vite و Vitest و ESLint و Prettier و tsdown رو میریزه تو یه فایل. ولی بعدش هنوز یه سری کار دستی میمونه.
دو تا دستور جدید تو اسکیل claude-api هم مجموعهٔ تست ارزیابی رو برات میسازن، هم دور به دور اپلیکیشنت رو بهتر میکنن و هر تغییری که فقط روی همون تستها جواب داده رو برمیگردونن.
ادی آزمانی دو سال پیش میگفت هر خط کدی که AI نوشته رو بخونید؛ حالا میگه لازم نیست، ولی هر تغییر باید یه آدم داشته باشه که مسئولیت فرستادنش رو قبول کنه.
یه سرور MCP که به ایجنتها اجازه میده اپهای بومی iOS و اندروید رو مثل یه کاربر واقعی بگردونن. از درخت دسترسپذیری میخونه نه اسکرینشات، پس هم سریعتره هم ارزونتر.
خیلیها فکر میکنن حالا که مدلها تو TLA+ خوب شدن، کار باگها تمومه. نویسندهای که کتاب TLA+ نوشته میگه بیشتر چیزهایی که برامون مهمه اصلاً به فرمول منطقی درنمیاد.
یه تیم از Carnegie Mellon این قاضی ارزون رو با ۱۶ قاضی دیگه سنجیده: روی کارهای معمولی تقریباً همسطح GPT-6 درمیاد، ولی جای درست و غلط سخت بدجور جا میمونه.
تیم Zed میگه هارنس Delta روی مدلهای تستشده به دقت هارنس بومی میرسه یا جلو میزنه، ولی عددهای eval اون چیزی که موقع کار حس میکنی رو نشون نمیدن.
بهجای بالا آوردن کروم headless برای هر تست رندر، این محیطهای تست WebGL و WebGPU واقعی رو داخل خود Node اجرا میکنن، با همون موتورهایی که کروم استفاده میکنه.
نسخه دوم بنچمارک SWE-Bench Pro اومد: ۸۹ تسک معیوب حذف شد، دسترسی وب ایجنتها قطع شد و نمرهدهی دوباره روی ایمیج تمیز نشون داد بعضی مدلها تست رو دور میزنن.