‏Counting House: الگوی استیو یگی برای AI تو پشتیبانی مشتری

استیو یگی تو این مقاله الگویی به اسم Counting House رو معرفی می‌کنه برای آوردن AI به سیستم‌هایی که حجم عظیمی از کار انسانی دارن، مثل پشتیبانی مشتری یا رسیدگی به خسارت بیمه، با میلیون‌ها مورد در سال. نویسنده می‌گه این الگو دقیقاً برعکس کارخونه‌ی نرم‌افزاری شخصی خودش (Wheelhouse) هست که توش ایجنت‌ها مثل کارمند، حافظه و دسترسی کامل دارن. اینجا هر مدل یه «منشی» بی‌حافظه‌ست که فقط یه مورد رو انجام می‌ده و تموم.

قلب سیستم یه policy table هست، یعنی یه جدول تنظیمات که می‌گه کدوم مدل اجازه داره کدوم نوع درخواست رو جواب بده. هر ردیف مربوط به یه intent هست، یعنی یه نوع مشخص درخواست مشتری، مثل «وضعیت پرواز» یا «جبران خسارت». شرکت‌ها معمولاً چند ده تا چند صد intent دارن و نکته همینه: حجم زیاده ولی تنوع کمه، پس می‌شه هر intent رو جدا حل کرد. منشی‌ها هیچ‌وقت credential یا اطلاعات شخصی مشتری (PII) نمی‌بینن و مستقیم تو سیستم اصلی چیزی نمی‌نویسن.

مدل‌ها پنج سطح اختیار دارن: off (همه‌چی دست آدم‌ها)، shadow (مدل موازی با آدم جواب می‌ده ولی فقط برای نمره دادن)، assist (به نماینده‌ی پشتیبانی پیشنهاد می‌ده)، contain (خودش جواب مشتری رو می‌ده) و transact (واقعاً پول جابه‌جا می‌کنه یا سیستم‌ها رو آپدیت می‌کنه). هر مدل از off شروع می‌کنه و فقط با گذروندن ارزیابی بالا می‌ره.

برای ارزیابی اول باید بدونی آدم‌هات چقدر خوب کار می‌کنن. برای هر intent بین ۲۰۰ تا ۱۰۰۰ مورد واقعی رو دو نفر جدا از هم نمره می‌دن و یه نفر سوم اختلاف‌ها رو حل می‌کنه. این می‌شه gold set. کنارش یه LLM judge (یه مدل قوی که فقط داوری می‌کنه) ساخته می‌شه که اول باید ثابت کنه به اندازه‌ی خود آدم‌ها با اونا هم‌نظره. نویسنده می‌گه توافق دو انسان معمولاً حدود ۹۰ درصده و این سقف چیزیه که ارزیابی‌ها می‌تونن نشون بدن.

بعد نوبت confusion matrix هست، یعنی جدولی که نشون می‌ده مدل هر intent رو با کدوم یکی اشتباه گرفته. نویسنده می‌گه accuracy (تو مثالش ۹۰.۶ درصد) تقریباً بی‌فایده‌ست چون هزینه‌ی خطاها رو نشون نمی‌ده. جا گذاشتن یه بچه تو فرودگاه ممکنه ۲۵ هزار دلار خرج داشته باشه. برای پول دادن، precision مهمه (فقط به کسی بدی که حقشه) و برای «کمک ویژه» مثل ویلچر، recall نزدیک ۱۰۰ درصد لازمه. تو مثالش recall این intent ۸۸ درصده و همین ۶ خطا ۱۵۰ هزار دلار از کل ۱۵۸.۶ هزار دلار هزینه‌ی خطاها رو ساختن، پس مدل رد می‌شه.

برای نوشتن تو سیستم‌ها، مدل فقط یه درخواست نوشتن صادر می‌کنه و یه Orchestrator کاملاً مکانیکی اونو به چند تراکنش تبدیل می‌کنه. مثلاً عوض کردن پرواز یعنی رزرو صندلی جدید، صدور دوباره‌ی بلیت، آزاد کردن صندلی قبلی، برگشت پول و ثبت تو دفتر. اینجا از Saga Pattern استفاده می‌شه، یعنی برای هر قدم یه کار جبرانی تعریف می‌کنی که اگه وسط کار چیزی خراب شد بشه همه‌چی رو برگردوند؛ ابزار شاخصش Temporal هست.

نکات کلیدی:

• Counting House برای کارهایی با میلیون‌ها تا ده‌ها میلیون مورد در سال طراحی شده و با مدل‌های ارزون و حتی open-weight کار می‌کنه.
• پنج سطح اختیار مدل: off، shadow، assist، contain و transact.
• برای هر intent بین ۲۰۰ تا ۱۰۰۰ مورد نمره‌خورده لازمه؛ intentهای مالی حدود ۱۰۰۰ و سؤال‌های ساده ۲۰۰ تا ۳۰۰.
• توافق دو نمره‌دهنده‌ی انسانی معمولاً حدود ۹۰ درصده و ارزیابی بیشتر از این رو نمی‌تونه ثابت کنه.
• مدل هیچ‌وقت PII یا credential نمی‌بینه و نوشتن‌ها از طریق Orchestrator و Saga Pattern انجام می‌شه.