‏کلادفلر هزینه‌ی کد ریویوی AI رو ۶۸٪ کم کرد

کلادفلر تو این پست توضیح می‌ده چطور هزینه‌ی ابزار داخلی ریویوی کدش رو که با چند agent کار می‌کنه پایین آورده. آوریل هر ریویو به‌طور میانگین ۱.۱۹ دلار خرج داشت، ولی آخر آگوست به حدود ۲.۴۶ دلار رسید. حالا میانگین هزینه ۰.۷۷ دلاره، یعنی ۶۸٪ کمتر، و میانه‌ی زمان هر ریویو از ۴ دقیقه و ۹ ثانیه به ۱ دقیقه و ۳۲ ثانیه رسیده. حدود ۴۰٪ صرفه‌جویی از تغییر کد اومده و بقیه‌ش از انتخاب مدل و سطح effort.

به گفته‌ی تیم، بیشتر افزایش هزینه از عوض کردن مدل‌ها بود. اوایل آگوست همه‌ی reviewerها رفتن روی مدل‌های Anthropic و هزینه‌ی هر job از ۱.۳۸ به ۲.۰۳ دلار رسید. تعداد توکن هر ریویو هم از ۰.۹۱ میلیون به ۲.۹۹ میلیون رسید. تفکیک هزینه‌ها نشون داد ۴۳٪ پول صرف cache write و ۳۴٪ صرف cache read می‌شه؛ یعنی بیشتر پول برای متنی بود که مدل قبلاً دیده بود.

برای فهمیدن مشکل باید بدونی prompt cache چطور کار می‌کنه: فقط اول مکالمه (prefix) کش می‌شه و فقط جایی ذخیره می‌شه که یه cache breakpoint (یعنی نقطه‌ای که پایان بخش کش‌شدنی رو مشخص می‌کنه) گذاشته شده باشه. نوشتن تو کش ۱.۲۵ برابر قیمت ورودی و خوندنش ۰.۱ برابره و بعد پنج دقیقه منقضی می‌شه. داده‌ها نشون داد اولین درخواست هر session فقط ۱۴ تا ۲۶٪ مواقع از کش می‌خونه، با اینکه ۱۱ تا ۲۱ هزار توکن اولش تو همه‌ی ریپوها یکیه.

مقصر OpenCode v1 بود: پرامپت agent رو با دایرکتوری کاری و تاریخ تو یه بلوک می‌ذاشت و تنها breakpoint رو آخرش. تیم یه marker آخر پرامپت گذاشت و با یه plugin hook بلوک رو دو تیکه کرد تا بخش مشترک breakpoint خودش رو داشته باشه. reference index مربوط به reviewer استانداردها هم رفت تو خود پرامپت و تعداد فراخوانی‌هاش از ۱۵.۹ به ۹.۶ رسید. این‌ها با هم هزینه رو از ۲.۴۷ به ۲.۰۲ دلار رسوندن.

بعدش کلی تغییر کوچیک اومد: حذف ابزاری که reviewerها نباید صداش می‌زدن، خوندن موازی فایل‌ها، رد کردن reviewerهای بی‌کار تو ریویوهای دوباره، و متوقف کردن jobهای cancel‌شده که قبلاً تا آخر اجرا می‌شدن. سه reviewer هم حالا یه prefix مشترک دارن؛ یکی کش رو می‌نویسه و دوتای دیگه تا ۲۰ ثانیه صبر می‌کنن تا ازش بخونن. از ۱.۶۷ دلار صرفه‌جویی، ۰.۶۵ دلار از کد بوده و ۱.۰۶ دلار از مدل و effort؛ مثلاً Sonnet 5.5 با همون قیمت هر توکن، ۴۷ تا ۶۲٪ ارزون‌تر از Sonnet 5 تموم شد.

تیم بررسی کرد که کیفیت افت نکرده باشه. reviewer کیفیت کد با effort بالا ۴۰٪ ایراد جدی کمتر گزارش می‌کنه، ولی نویسنده‌های کد الان روی ۵۹٪ اون‌ها اقدام می‌کنن، در مقابل ۳۴٪ قبل. داوری مدل‌ها روی ۶۵۷ یافته هم نشون داد بیشتر چیزی که حذف شده نویز و شدت‌های اغراق‌شده بوده. ولی reviewer پرفورمنس با effort متوسط ایرادهای واقعی رو از دست داده و امنیت شاید؛ تست هر دو با effort بالا قدم بعدیه.

نکات کلیدی:

• میانگین هزینه‌ی هر ریویو از ۲.۴۳ به ۰.۷۷ دلار رسید (۶۸٪ کمتر) و میانه‌ی زمان از ۴:۰۹ به ۱:۳۲
• اولین درخواست هر session فقط ۱۴ تا ۲۶٪ مواقع cache hit داشت، چون OpenCode v1 تنها breakpoint رو بعد از بخش مخصوص هر ریپو می‌ذاشت
• cache write در Anthropic ۱.۲۵ برابر و cache read ۰.۱ برابر قیمت ورودی هست و کش بعد ۵ دقیقه منقضی می‌شه
• از ۱.۶۷ دلار صرفه‌جویی، ۰.۶۵ دلار از تغییر کد و ۱.۰۶ دلار از تغییر مدل و effort بوده
• Sonnet 5.5 با قیمت توکن برابر، برای کیفیت کد ۶۲٪ ارزون‌تر از Sonnet 5 بود چون توکن کمتری مصرف کرد
• سهم ایرادهایی که نویسنده‌ها روشون اقدام کردن از ۳۴٪ به ۵۹٪ رسید، ولی reviewer پرفورمنس با effort متوسط ایراد واقعی کمتری پیدا می‌کنه