چرا حلقههای ایجنتی بلد نیستن کِی وایسن
هوش مصنوعیخلاصهٔ کاملتر
یوکو لی تو نیوزلتر a16z با یه سؤال ساده شروع میکنه: مدل از کجا بفهمه کارش تموم شده؟ جوابی که میده اینه که حتی برای آدمها هم «تمومشدن» خاصیتِ خودِ کار نیست، بلکه قضاوتیه که سیستمِ اطراف کار تولید میکنه — تست سبز، تأیید ریویوئر، ددلاین، یا رسیدن به نقطهٔ بازدهی نزولی. مدل هیچکدوم از اینها رو نداره و همیشه میتونه یه نسخهٔ دیگه بسازه.
همینجاست که بحث loop engineering مطرح میشه: بهجای اینکه آدم هر بار پرامپت بده و نتیجه رو چک کنه، خود سیستم کل چرخه رو اجرا کنه. ولی به گفتهٔ نویسنده هر حلقه دقیقاً بهاندازهٔ verifier هر قدمش خوبه. مثالش SpecBenchه: ایجنتها تستهای قابلمشاهده رو پاس میکردن ولی تستهای کنارگذاشتهشده رو رد میدادن، و یکیشون یه «کامپایلر» ۲۹۰۰ خطی ساخت که فقط ورودی تستها رو حفظ کرده بود. حلقه همگرا شد، ولی روی verifier نه روی خواستهٔ کاربر.
مقاله چهار شرط همگرایی رو میشمره: یه حالت هدف مشخص (که «بهترش کن» جزوش نیست)، یه حالت فعلیِ قابل مشاهده که ساختار زیرین رو هم نشون بده، راهی برای ویرایش دقیق و موضعی بهجای بازتولید کامل، و یه قانون توقف که از بیرونِ مولد بیاد. نویسنده دو محور ویرایشپذیری و راستیآزماییپذیری رو پیشنهاد میده: کد بالا-راست میشینه و تولید تصویرِ باز پایین-چپ.
نکتهٔ جالبش اینه که این محورها به بازنمایی مسئله برمیگردن نه خود مسئله؛ همون تصویر اگه بهشکل مسیرهای SVG یا صحنهٔ Blender نوشته بشه ویرایشپذیر میشه، و با دادن تصویر مرجع یا قید، راستیآزماییپذیر. به گفتهٔ نویسنده کار واقعیِ مهندسی حلقه همینه: بازنمایی مسئله رو عوض کن تا بیفته تو ربعی که حلقهها توش همگرا میشن. ضمناً هر حلقه به استک خودش کوک شده، پس حلقهٔ کسِ دیگه فقط یه نقطهٔ شروعه نه تضمین.
صریحترین بخش مقاله اقتصادِ حلقههاست. نویسنده حلقهٔ نمونهٔ Anthropic رو روی یه صفحهٔ عمداً کُند اجرا کرده: ۱.۴۰ دلار اول امتیاز Lighthouse رو از ۲۶ به ۸۹ برد، ولی ۲.۸۴ دلار بعدی — یعنی ۶۷٪ کل صورتحساب — دقیقاً صفر امتیاز خرید. بدتر اینکه مدل حوالی تلاش پنجم درست تشخیص داد هدف نشدنیه و ارزیاب ۱۴ بار برش گردوند. حرف آخر اینه که حلقهها کار میکنن، فقط بلد نیستن وایسن، و توقفِ درست با پرامپت ساخته نمیشه؛ زیرساخت میخواد.
نکات کلیدی:
- «تموم شد» رو سیستمِ اطراف کار تعیین میکنه، نه خود مدل
- کیفیت هر حلقه سقفش کیفیت verifier همون قدمه
- چهار شرط همگرایی: حالت هدف، حالت فعلیِ قابل مشاهده، ویرایش موضعی، قانون توقف
- بازنماییِ مسئله رو عوض کنی، مسئله به ربع همگرا جابهجا میشه
- بازدهی محاسبات زمان اجرا لگاریتمیه و بعد از فلات حتی منفی میشه
- تو آزمایش نویسنده ۶۷٪ هزینه هیچ بهبودی نداشت و راه فرار حلقه هم قابلاتکا نبود
