‏مانیتورینگ هوش مصنوعی با New Relic AIM؛ از دیباگ دستی تا observability هوشمند

طبق پیش‌بینی IDC، تا سال ۲۰۲۹ شرکت‌های بزرگ به‌طور مجموع بیش از یک میلیارد ایجنت هوش مصنوعی اجرا می‌کنن. این عدد نشون می‌ده که ساخت و استقرار این ایجنت‌ها در مقیاس بالا، بدون ابزار observability هوشمند، تقریباً غیرممکنه. تیم مهندسی و data science داخلی New Relic که مسئول ایجنت SRE و پلتفرم agentic این شرکته، دقیقاً با همین چالش دست‌وپنجه نرم کرده.

قبل از AIM: کدنویسی دستی و ابزارهای پراکنده

پیش از اینکه تیم از AI Monitoring یا همون AIM استفاده کنه، هر چیزی که می‌خواستن رصد کنن باید با کد سفارشی پیاده‌سازی می‌شد. مثلاً برای ثبت تعداد توکن‌ها یا شناسه مدل، مجبور بودن مستقیماً تلمتری رو داخل سرویس‌ها بنویسن. فرایند دیباگ هم طولانی و دستی بود و زمان زیادی از تیم می‌گرفت.

بعد از AIM: onboarding سریع و observability یکپارچه

با پذیرش AIM، همه چیز عوض شد. تیم فقط با یه تغییر کوچیک در کانفیگ Python APM agent تونست به طیف گسترده‌ای از متریک‌های آماده دسترسی داشته باشه. دیگه نیازی به کدنویسی سفارشی نبود و فرایند onboarding خیلی سریع انجام شد.

کاربردهای اصلی AIM در کار روزانه تیم

تیم از AIM در چند حوزه کلیدی استفاده می‌کنه:

• مقایسه مدل‌ها: وقتی می‌خوان از یه مدل به مدل دیگه‌ای مثل GPT-4 به Claude سوئیچ کنن، از model inventory برای تست در محیط staging استفاده می‌کنن و تأثیر تغییر روی زمان پاسخ و مصرف توکن رو قبل از رفتن به production بررسی می‌کنن.
• بهینه‌سازی هزینه: با رصد میانگین مصرف توکن و P95، مطمئن می‌شن که در محدوده context و بودجه‌شون می‌مونن؛ مخصوصاً وقتی از مدل‌های پرهزینه استفاده می‌کنن.
• دیباگ ایجنت‌ها: با کمک AIM و AI Agent Monitoring بررسی می‌کنن که ایجنت‌ها tool call های درستی انجام می‌دن و ارتباط agent-to-agent بدون خطا صورت می‌گیره.

مزایای کلیدی که تیم به دست آورده

اول از همه، متریک‌های آماده‌ی LLM مثل مصرف توکن، زمان پاسخ و نرخ خطا به‌صورت خودکار ثبت می‌شن و دیگه نیاز به کدنویسی دستی نیست. دوم، دید کامل به مصرف توکن به تیم و مدیریت کمک می‌کنه هزینه‌های مربوط به LLM providers رو توجیه و مدیریت کنن. سوم، AIM به‌صورت مداوم در محیط‌های staging و production اجرا می‌شه و یه دیدگاه تاریخی (نه فقط snapshot های لحظه‌ای) ارائه می‌ده که برای دیباگ و بهینه‌سازی بسیار ارزشمنده.

در نهایت، نتیجه‌ی این مسیر اینه که تیم مهندسی New Relic می‌تونه از ساختن ابزارهای سفارشی فاصله بگیره و دوباره روی کار اصلیش تمرکز کنه: ساختن نسل بعدی ایجنت‌های هوش مصنوعی.

نکات کلیدی:

• تیم داخلی New Relic از AIM به عنوان Customer 0 استفاده می‌کنه و تجربه واقعی داره
• onboarding فقط با یه تغییر کوچیک در Python APM agent انجام می‌شه
• مقایسه مدل‌ها (مثل GPT-4 به Claude) در staging قبل از production، از قابلیت‌های کلیدی AIM هست
• رصد توکن به صورت میانگین و P95 برای کنترل هزینه و context window استفاده می‌شه
• observability مداوم (نه فقط لحظه‌ای) در هر دو محیط staging و production فراهمه
• IDC پیش‌بینی می‌کنه تا ۲۰۲۹ بیش از یک میلیارد ایجنت AI در سازمان‌ها اجرا می‌شه