‏ایجنت‌های هوش مصنوعی انویدیا برای مدیریت کلاسترهای GPU

وقتی کلاسترهای GPU بزرگ می‌شن، مهندس‌های SRE (یعنی کسایی که مسئول پایداری سیستم‌ها هستن) باید برای پیدا کردن علت افت سرعت آموزش مدل، کلی داشبورد مختلف رو بگردن. انویدیا برای حل این مشکل تو کلاسترهای DGX SuperPOD خودش AI Factory Operations Agent رو ساخته. این ابزار چند ایجنت تخصصی داره که خرابی رو پیدا می‌کنن، ریشه‌ش رو بین لایه‌های مختلف پیدا می‌کنن و از طریق یه رابط چت پیشنهاد می‌دن. همهٔ کارهاشون هم برای بررسی بعدی ثبت می‌شه.

این فریم‌ورک روی blueprint به اسم NemoClaw ساخته شده. یه runtime مرکزی سؤال SRE رو می‌گیره و می‌فرستتش سمت ایجنت مناسب. ایجنت‌ها از طریق پلاگین‌های OpenClaw و سرورهای MCP (یعنی پروتکلی که به ایجنت‌ها ابزار و داده می‌ده) به زیرساخت وصل می‌شن. inference هم با مدل‌های اوپن Nemotron به‌صورت لوکال انجام می‌شه، پس کل سیستم می‌تونه on-premises باشه و داده بیرون نره. خود انویدیا این رو روی کلاسترهای DGX H100، B200 و GB300 اجرا می‌کنه.

کل سیستم یه اپلیکیشن Kubernetes هست که با Helm دیپلوی می‌شه. برای اجرای دستورات shell، OpenShell برای هر session یه sandbox جدا تو Kubernetes می‌سازه که به سرویس‌های production دست نمی‌زنه. امنیت لایه‌لایه‌ست: بررسی Kubernetes از طریق ابزار سمت سرور run_kubectl با یه credential فقط‌خوندنی انجام می‌شه و خود sandbox نه kubectl داره نه credential. دسترسی‌ها هم با RBAC تعریف می‌شن. مثلاً ایجنت می‌تونه podها رو ببینه ولی به secretها دسترسی نداره و نمی‌تونه چیزی بسازه یا تغییر بده:

(agent) $ kubectl auth can-i get pods
yes
(agent) $ kubectl auth can-i get secrets
no
(agent) $ kubectl auth can-i create pods
no

ایجنت‌های اصلی این‌ها هستن: Job Recovery که خرابی training job رو بین scheduler، اپلیکیشن، سخت‌افزار و شبکه ریشه‌یابی می‌کنه؛ Hardware Agent برای خطاهای PCIe، ECC، NVMe و دما؛ Observability Agent که از Prometheus و Grafana Loki داشبورد می‌سازه؛ Research Agent که مستندات و runbookها رو می‌گرده؛ Kubernetes Agent فقط‌خوندنی؛ و Cluster Management Agent برای Base Command Manager. می‌شه سرورهای MCP خودتون رو هم بهش وصل کنید.

انویدیا از استفادهٔ واقعی پنج تا درس گرفته: مرز کار ایجنت‌ها باید مشخص باشه، اول فقط‌خوندنی شروع کنید تا اعتماد SREها جلب بشه، سیگنال‌های لایه‌های مختلف رو کنار هم ببینید، ابزارهای MCP رو دقیق تعریف کنید تا ایجنت ابزار اشتباه انتخاب نکنه، و استدلال ایجنت رو شفاف نشون بدید. پیشنهادشون برای استقرار هم یه control plane جدا با GPU خودشه تا GPUهای آموزش درگیر نشن. برای محیط‌های چند tenant هم هر tenant فقط namespace و nodeهای خودش رو می‌بینه.

نکات کلیدی:

• کد فریم‌ورک روی GitHub به‌صورت آزمایشی اوپن‌سورس شده و API و تنظیماتش ممکنه بین نسخه‌ها عوض بشه.
• inference با مدل‌های اوپن Nemotron لوکال انجام می‌شه و امکان اجرای کامل on-premises هست.
• OpenShell برای هر session یه sandbox جدا تو Kubernetes می‌سازه و کرنل محدودش می‌کنه.
• دسترسی ایجنت به Kubernetes فقط‌خوندنیه و به secretها دسترسی نداره.
• شش ایجنت تخصصی داره: Job Recovery، Hardware، Observability، Research، Kubernetes و Cluster Management.
• برای استقرار‌های کوچیک‌تر می‌شه از RTX PRO Workstation یا DGX Spark استفاده کرد.