تست visual regression لوکال با Playwright و Docker
خلاصهٔ کاملتر
Paolo Ricciuti از Mainmatter تو این پست با یه مثال شروع میکنه: دکمهی Login رو bold میکنی و بعد معلوم میشه یه صفحهی دیگه هم از همون variant="login" استفاده کرده و خراب شده. ابزارهایی مثل Percy و Chromatic برای همین ساخته شدن؛ رو هر PR رابط کاربری رو با نسخهی قبل مقایسه میکنن. ولی نویسنده میگه حالا که با ایجنتها کد مینویسیم، فیدبک اونا کنده چون باید commit کنی، PR بزنی و منتظر diff بمونی.
هزینه هم مسئلهست. نویسنده پروژهی Actual Budget رو مثال میزنه که هر اجرای CI حدود ۴۴۰ اسکرینشات میگیره. تعداد PRها از حدود ۷۰ به ۱۴۰ رسیده (حدود ۴۰٪ با برچسب AI) و PRهای AI میانهی ۴ commit دارن در برابر ۲. این یعنی ۲.۵ تا ۳ برابر اسکرینشات، و هزینه برای Chromatic از حدود ۴۹۰ به ۱۶۰۰ دلار و برای Percy از ۳۳۰۰ به ۸۳۰۰ دلار میرسه؛ در حالی که دقیقههای CI برای Playwright از ۱۹ به ۴۷ دلار میره.
راهحل، API به اسم visual comparisons تو Playwright هست. اولین اجرا fail میشه ولی یه PNG کنار تست ذخیره میکنه که باید commit بشه. از اون به بعد هر تفاوتی باعث fail میشه و سه فایل expected، actual و diff تو پوشهی test-results میسازه که ایجنت مستقیم میتونه بخونه. تو مثال نویسنده، Claude موقع عوض کردن رنگ accent بیاجازه یه افکت glitch رو هم حذف کرده بود که diff لوش داد.
test("home page", async ({ page }) => {
await page.goto("/");
await expect(page).toHaveScreenshot();
});مشکل بعدی ثبات بین سیستمهاست: اسکرینشات macOS با Linux روی GitHub Actions یکی نیست، مثلاً فونتهای سیستمی macOS روی Linux وجود ندارن. برای همین نویسنده تستها رو داخل image رسمی Playwright تو Docker اجرا میکنه، با یه Dockerfile.visual-tests کوچیک و یه docker-compose.yml که پلتفرم رو روی linux/amd64 و نسخهی Playwright رو روی 1.62.0 قفل میکنه. Dockerfile اگه نسخهی image با نسخهی lockfile نخونه زود خطا میده تا مرورگرها هر بار دوباره دانلود نشن.
بعد دو تا اسکریپت test:visual و test:visual:update به package.json اضافه میشه. نویسنده یه skill هم برای ایجنت پیشنهاد میده که بگه بعد از هر تغییر ظاهری تست بصری رو اجرا کنه، فقط تغییری که کاربر خواسته رو قبول کنه، و اگه مطمئن بود snapshotها رو آپدیت کنه. چون آپدیت snapshot یه کار مخرب حساب میشه، مدلها بدون این راهنمایی معمولاً سمتش نمیرن. اجرای این بررسی تو یه subagent جدا هم کانتکست اصلی رو شلوغ نمیکنه.
نویسنده صادقانه میگه این «یک» راهحله، نه لزوماً راهحل شما. ممکنه کیفیتش از سرویسهای تخصصی پایینتر باشه و نگهداریش وقت بگیره. commit کردن اسکرینشاتها هم تاریخچهی Git رو سنگین میکنه؛ یه راهش نگه داشتن baselineها تو یه S3 bucket هست. پیشنهادش اینه که کنار Chromatic یا Percy امتحانش کنی و ببینی کدوم برات سریعتر و ارزونتره.
نکات کلیدی:
- Playwright با toHaveScreenshot اسکرینشات میگیره و expected، actual و diff رو تو test-results ذخیره میکنه
- برای ثبات، تستها تو image رسمی Playwright داخل Docker با پلتفرم linux/amd64 اجرا میشن
- نسخهی Playwright تو image و lockfile باید یکی باشه، وگرنه مرورگرها هر بار دوباره دانلود میشن
- تو مثال Actual Budget، هزینهی Chromatic از ~۴۹۰ به ~۱۶۰۰ دلار میرسه ولی CI مربوط به Playwright فقط از ~۱۹ به ~۴۷ دلار
- commit کردن اسکرینشاتها حجم مخزن Git رو بالا میبره




