Council در PandaCode: وقتی ایجنت دیگه کار خودشو نمره نمیده
خلاصهٔ کاملتر
مشکل اصلی اینه که ایجنتی که یه چیزی رو ساخته فقط نیت خودش رو میبینه، نه چیزی که واقعاً ساخته شده. تو یه تست، هفت ایجنت به کار خودشون ۹ از ۱۰ دادن، ولی ایجنتهای جدا و بدون context به همون کارها بین ۵.۵ تا ۸ دادن. Council تو PandaCode برای همین ساخته شده. تو این مقاله اومده که سازندهاش قبلاً ۱۰ روز تو ۶۱ تسک جدا، دستی دستور review تایپ میکرد تا اینکه این کار شد یه گزینهٔ داخلی.
وقتی Council روشنه، ایجنت lead (یعنی ایجنتی که کار رو برنامهریزی میکنه و بین workerها پخش میکنه) دیگه نمیتونه خودش اعلام کنه کار تموم شده. باید یه شورا از داورها تشکیل بده و به هر کدوم یه lens بده، یعنی یه دغدغهٔ مشخص مثل ظاهر UI، امنیت، یا درست بودن یه توضیح. سه تنظیم داره: target score (پیشفرض ۹، بین ۷ تا ۱۰)، حداکثر تعداد دور (پیشفرض ۱۰) و تعداد داورها (پیشفرض auto). اگه lead بخواد زیر نمرهٔ هدف کار رو ببنده، خود اپلیکیشن جلوشو میگیره، نه یه پرامپت که بشه نادیدهش گرفت.
چهار قانون این بررسی رو صادق نگه میداره. اول، نمرهٔ نهایی کمترین نمرهٔ داورهاست نه میانگین؛ اگه lens امنیت ۶ بده و بقیه ۹.۵، کل تسک ۶ میگیره. دوم، داورها هیچوقت target score یا نمرهٔ دورهای قبل رو نمیبینن، چون به گفتهٔ نویسنده اگه بدونن هدف ۹ـه، احتمالاً ۹ میدن. سوم، هر دور داورهای تازه و بدون حافظه میان تا کار رو مثل یه کاربر جدید ببینن. چهارم، lensها بعد از دور اول قفل میشن تا lead نتونه داور سختگیر رو با یه داور راحتتر عوض کنه.
Council باگهای واقعی گرفته. تو ساخت یه skill manager، دور اول نمره ۵ شد: سوییچ پروژه برای تسکهای یه work tree دیگه کار نمیکرد، حدود ۱۴ ابزار بیدلیل «installed» نشون داده میشدن و یه سوییچر هم کج بود. نمره حدود ۱۸ دور بین ۶ و ۷ گیر کرد، دور ۲۲ به ۸.۵ رسید و یه باگ uninstall نصفه پیدا شد، و کار با سقف ۲۵ دور روی ۹ تموم شد، یعنی به هدف ۹.۵ نرسید. نمونههای دیگه: دسترسی view-only از گوشی که خروجی همهٔ ترمینالها رو میخوند، یه commit تگخورده که هیچوقت CI رو پاس نکرده بود، و عدد ۲۰۳ دلار تو یه اسکریپت ویدیو که در اصل ۲۳.۰۴ دلار بود.
ولی هزینهش بالاست. تو سه روز حدود ۲۵۰ دور با ۸۳۷ داور اجرا شد که تقریباً ۱۸۰ ساعت وقت ایجنت مصرف کرد. هیچ اجرایی با هدف ۹.۵ بهش نرسیده و نمرهها معمولاً بین ۸ و ۹ میمونن. داورها روی خود ماشین کار واقعی انجام میدن، مثلاً کد کامپایل میکنن، که یه بار دیسک رو پر کرد. نویسنده میگه سه داور روی یه مدل یکسان معمولاً یه نظر رو سه بار تکرار میکنن، و پرامپت مبهم مثل «top notch» هم review مبهم میده؛ باید رفتارها و حالتهای قابلبررسی رو دقیق نوشت.
نکات کلیدی:
- نمرهٔ نهایی Council کمترین نمرهٔ داورهاست، نه میانگین.
- تنظیمات پیشفرض: target score برابر ۹ (بین ۷ تا ۱۰) و حداکثر ۱۰ دور.
- داورها هر دور تازهان و target score و نمرههای قبلی رو نمیبینن.
- lensها بعد از دور اول قفل میشن.
- سه روز استفاده: حدود ۲۵۰ دور، ۸۳۷ داور و نزدیک ۱۸۰ ساعت وقت ایجنت.
- هیچ اجرایی با هدف ۹.۵ بهش نرسیده؛ نمرهها معمولاً بین ۸ و ۹ میمونن.




