‏استیو یگی: بحران سوخت تو کارخونه‌ی ایجنت‌ها

استیو یگی تو این پست از تجربه‌ی چند هفته‌ی اخیرش با Wheelhouse می‌گه، یه ارکستریتور (یعنی سیستمی که ده‌ها ایجنت هوش مصنوعی رو هم‌زمان هماهنگ می‌کنه) که برای ساخت بازیش Wyvern ساخته. تو اوج کار، حدود ۲۵ نمونه‌ی Fable کار رو جلو می‌بردن و پیاده‌سازی رو به حدود ۲۵ نمونه‌ی Opus و Sol می‌سپردن. به گفته‌ی نویسنده، الان Wheelhouse روزی ۲۵۰ تا ۳۰۰ کامیت واقعی و تست‌شده روی یه ریپو می‌زنه، با کیفیتی هم‌سطح کار دستی خودش.

مشکل اول سوخت هست، یعنی مصرف توکن. نویسنده معتقده Claude Fable 5 تنها مدلیه که می‌شه مثل یه کارمند بهش تکیه کرد و فکر نمی‌کنه تا ۱۲ ماه آینده ارزون بشه. اون به ۲۱ اکانت Claude Max رسیده و الان کل سهمیه‌ی هفتگی یه اکانت رو تو ۲ تا ۴ ساعت تموم می‌کنه. برای روشن موندن ۲۴ ساعته، ۵۵ اکانت و ماهی حدود ۱۲ هزار دلار لازم داره. برای همین کارخونه بیشتر وقت خاموشه و الان داره روی بهره‌وری مصرف کار می‌کنه.

مشکل دوم نوسان هست: کارخونه یا زیادی کار می‌کنه یا تقریباً هیچی. بعد از تعمیر، Wheelhouse اون‌قدر سریع فیچر می‌فرستاد که بازیکن‌ها وقت امتحانشون رو نداشتن و یگی مجبور شد گیت انتشار بذاره. یه مثال بامزه هم از Brendan Hopper نقل می‌کنه: ایجنت‌هاش تو وقت آزاد برای تماشای غروب به Haiku سوییچ می‌کردن. به‌خاطر یه باگ، موقع کدنویسی هم روی Haiku می‌موندن و منتظر Fable می‌نشستن، یعنی کل کلونی از کار افتاد.

فلج شدن کارخونه‌ی خود یگی به‌خاطر fenceها بود، یعنی محدودیت‌هایی که به‌صورت مکانیکی جلوی کارهای غیرمجاز رو می‌گیرن. هر حادثه یه fence تازه می‌ساخت و هیچ‌کس مسئول مرتب کردنشون نبود. آخرش بیش از ۴۰۰ حکم، ۱۸۵ قانون تو CLAUDE.md و ۶۵۰ نقطه‌ی رد درخواست تو ۱۷۳ اسکریپت جمع شده بود و دیگه هیچ کاری مجاز نبود. با کمک Fable 5.1 حدود ۵۰۰ هزار خط کد حذف شد، fenceها به ۱۴ تا رسید و الان هر fence جدید باید تأیید خود یگی رو داشته باشه.

مفهوم اصلی پست Seat هست: یه نقش ماندگار مثل شهردار یا مدیر مدرسه، با انتظارات، حافظه، تاریخچه، اختیارات و فهرست کارهای مجاز و ممنوع. هر مدلی که تو یه Seat بشینه، وضعیت نفر قبلی رو به ارث می‌بره. به گفته‌ی نویسنده، مدلی که تو یه session خالی شروع می‌کنه باید توکن خرج کنه تا بفهمه کی داره درخواست می‌ده، اختیارش چیه و اگه اشتباه کنه چی می‌شه. Seat این جواب‌ها رو از قبل نوشته، پس این بررسی به یه نگاه ساده تبدیل می‌شه.

یگی می‌گه Seat سرزنش رو هم از خود مدل به «سیستم» منتقل می‌کنه تا مدل توکن رو صرف توجیه خودش نکنه. ولی اگه مدل تو سوابق دروغ یا دستکاری پیدا کنه، دیگه به هیچ‌کدوم اعتماد نمی‌کنه و همه‌چی رو دوباره وارسی می‌کنه. جمع‌بندیش اینه: سوخت هزینه‌ی بی‌اعتمادیه، fence بی‌اعتمادیِ نوشته‌شده‌ست و Seat اعتمادیه که یه بار پولش رو دادی و ذخیره شده.

نکات کلیدی:

• Wheelhouse تو اوج حدود ۲۵ نمونه‌ی Fable و ۲۵ نمونه‌ی Opus و Sol رو اجرا می‌کرد
• اجرای ۲۴ ساعته با قیمت فعلی به ۵۵ اکانت Claude Max و ماهی حدود ۱۲ هزار دلار نیاز داره
• راه‌های کم کردن مصرف: مدل ارزون‌تر، تسک و context کوچیک‌تر، prompt caching، effort پایین مثل Fable Low و کار تو ساعت‌های غیرپیک
• تعداد fenceها از صدها مورد به ۱۴ تا رسید
• Seat هزینه‌ی بررسی اعتماد رو از هر session به یه بار تعریف نقش منتقل می‌کنه