‏Devin Review 2.0: بررسی خودکار هر PR با هزینه‌ای کمتر از یک دلار

تیم Devin تو این پست Devin Review 2.0 رو معرفی کرده و می‌گه از این به بعد این ابزار، روش پیش‌فرض بررسی PR وقتی با Devin کار می‌کنی. حرف اصلیشون اینه که هزینهٔ بررسی هر PR از آگوست تا حالا ۸۲ درصد کم شده و یه بررسی معمولی الان فقط بین ۰.۲۵ تا ۰.۷۵ دلار خرج داره. به گفتهٔ خودشون، به‌طور میانگین هزینهٔ پیدا کردن و رفع هر باگ حدود ۲.۲۵ دلاره.

نویسنده معتقده تعداد PRها داره زیاد می‌شه ولی ظرفیت آدم‌ها برای بررسی دستی کد بیشتر نمی‌شه؛ برای همین code review شده گلوگاه جدید چرخهٔ توسعه (SDLC). کم کردن بررسی شاید سرعت رو بالا ببره، ولی بعداً با باگ‌های بیشتر و کیفیت پایین‌تر هزینه‌شو می‌دی. راه‌حلی که پیشنهاد می‌کنن اینه که یه agent خودش باگ‌ها رو پیدا کنه و یه «تور راهنما» از PR بسازه تا بررسی انسانی سریع‌تر و با دید بهتر انجام بشه.

به گفتهٔ تیم، این کاهش هزینه از ترکیب بهتر مدل‌ها و بهینه‌سازی harness (یعنی همون لایه‌ای که مدل‌ها رو اجرا و هماهنگ می‌کنه) اومده. کیفیت هم پایین نیومده و تعداد باگ پیداشده تو هر PR از ۱.۲۲ به ۱.۳۲ رسیده. سرعت هم ۱.۵ برابر شده و میانهٔ زمان بررسی از ۱۳۹ ثانیه به ۹۴ ثانیه کم شده.

می‌تونی با یه کامنت /devin review تو GitHub یا GitLab بررسی رو روی یه PR اجرا کنی، یا مثل CI تنظیمش کنی که خودکار روی هر PR آماده اجرا بشه. با قانون‌های دقیق هم می‌شه مشخص کرد کِی اجرا بشه، مثلاً روی PRهای draft، یا بر اساس مسیر فایل، branch و label. خیلی از مشتری‌ها با همین قانون‌ها PRهای کم‌ارزش رو کنار می‌ذارن تا خرجشون کم بشه.

یه تغییر مهم دیگه بررسی افزایشی (incremental) هست، یعنی وقتی دوباره روی همون PR اجرا می‌شه فقط بخش‌های تغییرکرده رو نگاه می‌کنه. این‌جوری نتایج روی آخرین تغییرات متمرکز می‌مونه و هزینه هم کم می‌شه. حدود ۸۰ درصد PRها با همهٔ pushهاشون کمتر از یک دلار خرج دارن و یه سقف خرج برای هر PR هم قابل تنظیمه. وقتی با خود Devin استفاده بشه، Devin هر یافته رو بررسی می‌کنه و تصمیم می‌گیره درستش کنه، ردش کنه یا به تو بسپاره.

دو قابلیت تازه هم اضافه شده: Devin Review Ultra که یه سطح تلاش بالاتره برای کدهای حساس مثل پرداخت و امنیت، با هزینهٔ بیشتر؛ و Custom Reviewers (فعلاً بتا) که بهت اجازه می‌ده بررسی‌های خاص تیمت رو با دستورهای خودت تعریف کنی. خود تیم Devin ازش برای چک کردن امنیت بک‌اند، migrationهای امن دیتابیس، کوئری‌های SQL بهینه و دسترس‌پذیری UI استفاده می‌کنه.

نکات کلیدی:

• هزینهٔ بررسی هر PR از آگوست ۸۲ درصد کم شده و حالا بین ۰.۲۵ تا ۰.۷۵ دلاره.
• تعداد باگ پیداشده تو هر PR از ۱.۲۲ به ۱.۳۲ رسیده.
• میانهٔ زمان بررسی از ۱۳۹ به ۹۴ ثانیه کم شده.
• بررسی افزایشی به‌صورت پیش‌فرض فقط تغییرات جدید PR رو بررسی می‌کنه.
• Devin Review Ultra برای کدهای حساس و Custom Reviewers (بتا) برای بررسی‌های اختصاصی اضافه شدن.