مانیتورینگ با ایجنت‌ها: آینده‌ی عملیات نرم‌افزار
هوش مصنوعیخلاصهٔ کامل‌تر
نقطه‌ی شروع این مقاله یه پاراگراف از پست Anthropicـه. تیمشون برای هر بخش سیستم یه کانال Slack ساخته و یه Claude رو مأمور کرده که فقط حواسش به سلامت همون بخش باشه. اسمشون رو گذاشتن «superfan». نویسنده می‌گه این‌ها می‌تونن مشکلات ظریف و جدیدی رو پیدا کنن که هشدارهای سنتی کنارشون یک‌بعدی به نظر میان، و معتقده این دقیقاً مسیر آینده‌ی عملیات نرم‌افزاره.
به گفته‌ی نویسنده، با حجم کدی که این روزها نوشته میشه، آدم‌ها کمتر از قبل کد سیستم‌هاشون رو از نزدیک می‌شناسن. observability (یعنی ابزارهایی مثل Datadog و Sentry برای دیدن وضعیت سیستم) هم گرونه و یاد گرفتنش سال‌ها طول می‌کشه. با مدل‌های کلاس Opus 5.5 و Astra، به نظرش میشه بدون یه محصول کامل «AI SRE» یه سیستم مانیتورینگ ایجنتی ساخت که کار کنه.
مثال اصلیش change-point monitoringـه، یعنی نظارت شدید روی لحظه‌های تغییر مثل ریلیز باینری یا push کانفیگ. طبق کتاب SRE گوگل حدود ۷۰ درصد قطعی‌ها از تغییرات میان. قبلاً این کار سخت بود: سرویس‌های عمومی متریک‌های پرنویز داشتن و هشدار الکی زیاد می‌شد. بین دقت و سرعت هم باید یکی رو انتخاب می‌کردی. نویسنده می‌گه ایجنت‌ها این مشکل رو تقریباً حل می‌کنن، چون حاضرن کلی کوئری بزنن، برای هر تغییر کوئری مخصوص بنویسن و لاگ‌ها رو بی‌وقفه بگردن.
اون یه نمونه‌ی اولیه ساخته: یه ایجنت از روی کد سرویس برنامه‌ی مانیتورینگ پیشنهاد می‌ده، یه scaffold اون برنامه رو اجرا می‌کنه و یه ایجنت دیگه هشدارها رو بررسی می‌کنه و در صورت نیاز به آدم خبر می‌ده. یافته‌ی مهمش اینه که حلقه‌ی خالص ایجنتی بهترین شکل نیست. بهتره ایجنت یه spec از نحوه‌ی مانیتورینگ بنویسه و یه سیستم قطعی اونو اجرا کنه. این‌جوری سیگنال‌ها تمیزتر می‌شن و مصرف توکن خیلی کمتر.
نویسنده چند مزیت برای ایجنت‌ها می‌شمره: ۲۴ ساعته همه‌چیز رو دنبال می‌کنن، می‌تونن چند مسیر بررسی رو هم‌زمان جلو ببرن و کد و متریک رو سریع‌تر از آدم می‌خونن. تو یه مورد، چند جلسه بررسی با Astra و Opus به ۵۰ درصد صرفه‌جویی heap و ۳۰ درصد کاهش latency تو یه کتابخونه‌ی پرکاربرد رسیده. فعلاً بحث بیشتر روی مانیتورینگ فقط‌خوندنیه، ولی نویسنده آینده‌ای رو می‌بینه که ایجنت‌ها با guardrail مناسب کارهایی مثل rollback کانفیگ رو هم خودشون انجام بدن.
درباره‌ی هزینه می‌گه مدل‌های کلاس Luna و Haiku حالا تو خوندن نمودار کاربلدن. یه شرکت نسبتاً بزرگ احتمالاً با حدود ۱۰۰ دلار در روز می‌تونه کل ناوگانش رو مانیتور کنه. به نظرش به‌زودی نداشتن ایجنت مانیتورینگ بی‌احتیاطی حساب میشه.
نکات کلیدی:
- حدود ۷۰ درصد قطعی‌ها از تغییرات تو سیستم زنده میان، پس لحظه‌ی ریلیز و تغییر کانفیگ مهم‌ترین جا برای نظارته.
- ترکیب «ایجنت spec می‌نویسه، سیستم قطعی اجرا می‌کنه» سیگنال تمیزتر و مصرف توکن کمتری از حلقه‌ی خالص ایجنتی داره.
- مانیتورینگ کل ناوگان یه شرکت متوسط تا بزرگ با مدل‌های کلاس Haiku حدود ۱۰۰ دلار در روز برآورد شده.
- تو یه مورد، بررسی ایجنتی به ۵۰ درصد صرفه‌جویی heap و ۳۰ درصد کاهش latency رسید.
- مرحله‌ی بعد، دادن دسترسی اقدام مثل rollback به ایجنت‌ها با guardrail مناسبه.
