کاهش ۹۸ درصدی هزینه‌ی Code Review گیت‌لب با بهینه‌سازی harness
هوش مصنوعیخلاصهٔ کامل‌تر
تیم AI21 تو این مقاله تعریف می‌کنه که چطور هزینه‌ی GitLab Duo Code Review رو روی بنچمارک عمومی Martian حدود ۹۸ درصد پایین آورده، بدون اینکه کیفیت بازبینی افت کنه. همه‌ی این صرفه‌جویی از بهینه‌سازی harness اومده، یعنی همون لایه‌ای که تعیین می‌کنه هر مرحله‌ی agent با کدوم مدل اجرا بشه و چقدر متن بخونه. هزینه‌ی هر PR از حدود 0.589 دلار به 0.0135 دلار رسید.
این ابزار چهار مرحله داره: exploration (دیدن ساختار ریپو)، file fetching (خوندن فایل‌های مرتبط)، analysis (یادداشت‌برداری) و review (خوندن diff و نوشتن کامنت). به گفته‌ی نویسنده، ۶۵ درصد هزینه مال مرحله‌ی review بود و Sonnet 5 تو هر بازبینی حدود ۱۸٬۶۰۰ توکن خروجی می‌نوشت که تقریباً همه‌ش reasoning بود. بهینه‌سازی‌های آماده‌ی تیم برای agentهایی مثل Claude Code ساخته شده بودن و اینجا هیچ اثری نداشتن، چون هر مرحله با یه prompt تازه شروع میشه و تاریخچه‌ای نداره که بشه کوتاهش کرد.
قدم اول compaction بود، یعنی کوچیک کردن context با قانون، نه با خلاصه‌سازی مدل. از هر فایل فقط تیکه‌های تغییرکرده با ۲۵ خط بالا و پایینش موند و diff پرحجم به یه unified diff معمولی تبدیل شد. میانه‌ی prompt از 59K به 32K توکن رسید، ولی هزینه فقط ۱۹.۴ درصد کم شد. دلیلش اینه که Sonnet 5 با context کمتر، reasoning بیشتری نوشت (حدود ۲۳٬۸۰۰ توکن).
بعد سراغ عوض کردن مدل رفتن. Claude Haiku 4.5 روی دو مرحله‌ی مکانیکی همون فایل‌هایی رو انتخاب کرد که Sonnet 5 انتخاب کرده بود، ولی روی analysis و review کیفیت افت کرد. بعد مدل open-weight یعنی DeepSeek V4 Flash رو روی هر چهار مرحله گذاشتن که با vLLM روی H100 سرو می‌شد. هزینه ۸۵.۳ درصد کم شد، F1 به ۴۸.۴ درصد رسید و latency شد 0.37 برابر.
چرا تو ۸۵ درصد موند؟ استقرار DeepSeek فقط تا 256K توکن رو قبول می‌کرد و بقیه به Sonnet 5 برمی‌گشتن. بعضی promptها تا 480K می‌رسیدن و ۳ تا از ۵۰ PR، ۷۷ درصد هزینه‌ی باقی‌مونده رو می‌ساختن. با برگردوندن compaction، بزرگ‌ترین prompt به 109K رسید و همه‌ی بازبینی‌ها روی مدل ارزون موندن. یعنی compaction اینجا دیگه برای صرفه‌جویی توکن نبود، برای جا شدن تو پنجره‌ی مدل بود.
نویسنده تأکید می‌کنه تنظیم‌ها روی همون ۵۰ PR انتخاب و سنجیده شدن، پس نتیجه‌ها مخصوص همین بنچمارکه. ولی روشش قابل استفاده‌ست: اول هزینه‌ی هر مرحله رو اندازه بگیر، هر بار یه متغیر رو عوض کن و بعد از هر تغییر، تغییرهای قبلی رو دوباره تست کن.
نکات کلیدی:
- هزینه‌ی هر PR از 0.589 به 0.0135 دلار رسید، یعنی ۹۷.۷ درصد کمتر.
- compaction به‌تنهایی فقط ۱۹.۴ درصد صرفه‌جویی داشت.
- DeepSeek V4 Flash روی هر چهار مرحله هزینه رو ۸۵.۳ درصد کم کرد.
- Haiku 4.5 فقط روی exploration و fetching کیفیت رو حفظ کرد.
- بزرگ‌ترین prompt با compaction از 480K به 109K توکن رسید و زیر سقف 256K رفت.
- precision نهایی ۴۶.۸ درصد در برابر ۴۱.۹ بود، ولی recall از ۵۲ به ۴۷.۶ درصد افت کرد.
