مدیرعامل CodeRabbit: ماهی ۵۰۰۰ PR و ۲۵۰ هزار دلار خرج AI
خلاصهٔ کاملتر
تو این قسمت پادکست Pragmatic Engineer، گرگلی اوروش با هارجوت گیل، بنیانگذار و مدیرعامل CodeRabbit (یه سرویس بازبینی کد با AI) صحبت کرده. هارجوت ماه پیش بیش از ۵۰۰۰ pull request فرستاده و خرج شخصیش روی AI حدود ۲۵۰ تا ۲۷۵ هزار دلار در ماهه. خودش تخمین میزنه هر PR حدود ۱۵۰ دلار براش آب میخوره. کل CodeRabbit با ۴۰ مهندس ماهانه چند میلیون دلار خرج AI میکنه.
به گفتهٔ هارجوت بخش بزرگی از این PRها کارهای نگهداریه: بهتر کردن CI، درست کردن تستهای flaky و بهینه کردن کش. خیلیهاش رو تو مسیر رفتوآمد یا شبها با agentها میفرسته. چند نمونه از کارهاش: یه write-ahead log (یعنی لاگی که تغییرات رو قبل از اعمال ثبت میکنه) روی object storage با Rust که agent شش هفته روش کار کرده و الان تو production هست، مهاجرت همهٔ سرویسها به Bun تو یه آخر هفته، و یه سیستم CI جدید.
داستان CI جالبه: برای یه راهحل CI که خروجی PRهاشون رو تحمل کنه، سالی ۱۳ میلیون دلار قیمت گرفتن. هارجوت تصمیم گرفت با agentها خودشون بسازن. یه هفته طول کشید و هزینهش ۵۰ درصد کمتر از اون قیمت شد با عملکرد مشابه. اوروش میگه برای یه استارتاپ ابزار توسعه مثل CodeRabbit این خرجها نوعی R&D هست، چون میتونه به محصول جدید تبدیل بشه. ولی بیشتر جاها خرج AI بین ۲۰۰ تا ۲۰۰۰ دلار در ماه برای هر توسعهدهندهست.
هارجوت معتقده agentها باید «hill climbing» کنن، یعنی راهی داشته باشن که کار خودشون رو چک کنن. لایههایی که پیشنهاد میده: روشهای formal مثل TLA+ و Lean (با TLA+ race conditionهایی پیدا کردن که code review ندیده بود)، شبیهسازیهای قطعی محلی برای fuzz کردن ترتیب عملیات همزمان، شبیهسازی APIهای واقعی مثل Google Cloud، محیطهای dev، و تو production هم rollout مرحلهای با feature flag که یه agent لاگها رو نگاه میکنه.
به نظر هارجوت بازبینی انسانی کدِ agentها دیگه منطقی نیست و آدمها باید planning و خروجی نهایی رو بررسی کنن. تو CodeRabbit مهندسها releaseها (چند PR با هم) رو بازبینی میکنن، نه تکتک PRها. یه لیست «معاف از بازبینی» هم دارن: اگه PR کسی production رو خراب کنه یه «strike» میگیره و با strikeهای کافی دوباره باید کارش بازبینی بشه. fine-tune کردن مدلها رو هم کنار گذاشتن، چون مدلهای frontier خیلی سریع جلو میرن.
موقع استخدام دنبال agency، تجربهٔ گسترده و تفکر سیستمی هست. یه آگهی شغلی عجیب هم گذاشته: فقط کسایی که تو ۳۰ روز گذشته بیش از ۱۰۰۰ PR باکیفیت (نه slop) فرستادن یا بیش از ۵۰۰ ساعت بازیهای استراتژی مثل Civilization و Factorio کردن. اوروش اشاره میکنه که این مدل کار میتونه با API مدلهای باز ارزونتر بشه ولی با کمی افت توانایی. هارجوت هم از خواب بههمریخته میگه، چیزی که بهش «اثر دراکولا»ی agentها میگن.
نکات کلیدی:
- هارجوت گیل ماه پیش بیش از ۵۰۰۰ PR فرستاده و ماهی حدود ۲۵۰ تا ۲۷۵ هزار دلار خرج AI میکنه، حدود ۱۵۰ دلار برای هر PR.
- CodeRabbit با ۴۰ مهندس ماهانه چند میلیون دلار خرج AI داره.
- ساخت CI داخلی با agentها یه هفته طول کشید و ۵۰ درصد ارزونتر از پیشنهاد ۱۳ میلیون دلاری سالانه شد.
- لایههای چک کردن کار agentها: TLA+ و Lean، شبیهسازی قطعی، شبیهسازی API، محیط dev و rollout مرحلهای.
- تو CodeRabbit releaseها بازبینی میشن نه PRها، و خرابی production به مهندس «strike» میده.
- fine-tune کردن مدلها بهخاطر سرعت پیشرفت مدلهای frontier کنار گذاشته شد.




