‏agentgateway؛ یک گیت‌وی واحد برای ترافیک AI و API

وقتی تیم Solo.io شروع به ساختن agentgateway کرد، اولین سوالش این بود که اصلاً دنیا به یه گیت‌وی جدید نیاز داره یا می‌شه از همون reverse proxyهای موجود مثل Envoy استفاده کرد. به گفتهٔ نویسنده، جواب زود روشن شد: نه چون گیت‌وی‌های فعلی خراب‌ان، بلکه چون سازمان‌هایی که سیستم‌های AI رو deploy می‌کنن با یه دسته مشکل عملیاتی جدید روبه‌رو می‌شن که زیرساخت قبلی برای حلشون طراحی نشده بود.

نویسنده می‌گه هرچی agentها تواناتر می‌شن، کمتر شبیه یه چت‌بات تنها و بیشتر شبیه یه سیستم توزیع‌شده رفتار می‌کنن: ابزار صدا می‌زنن، بین APIها و مدل‌ها مسیریابی می‌کنن و با MCP serverها و دیتابیس‌ها کار می‌کنن. اینجا سوال‌های زیرساختی خیلی بزرگ‌تر می‌شن؛ مثلاً اینکه چطور کنترل کنیم یه agent به کدوم ابزار دسترسی داره، یا چطور rate limit و سیاست‌های امنیتی یکدست روی همهٔ این ترافیک اعمال بشه.

یکی از تصمیم‌های اصلیشون این بود که برای AI یه استک زیرساختی کاملاً جدا نسازن. به گفتهٔ نویسنده، جدا کردن این دوتا اولش منطقی به‌نظر می‌رسه، ولی در عمل همون سازمانی که agent اجرا می‌کنه، APIها و سرویس‌هایی که agent بهشون وابسته‌ست رو هم اجرا می‌کنه. نتیجه‌ش دوباره‌کاری تو مدل سیاست‌ها، تنظیمات احراز هویت، خط لولهٔ observability و کنترل‌های governance می‌شه. برای همین رفتن سراغ یکپارچه‌سازی.

agentgateway به‌عنوان یه گیت‌وی واحد طراحی شده که HTTP، gRPC، MCP، A2A و ترافیک LLM رو با هم و از یه سطح عملیاتی مشترک هندل می‌کنه. یه لایهٔ federation هم داره که اجازه می‌ده ترافیک بین ابزارها، مدل‌ها و سرویس‌های مختلف رو تجمیع و مسیریابی کنی، در حالی که سیاست‌ها به‌صورت متمرکز اعمال می‌شن و کلاینت از طریق یه endpoint واحد کار می‌کنه.

نویسنده می‌گه پروژه رو با Rust نوشتن چون performance و امنیت حافظه براشون غیرقابل‌مذاکره بوده. این تیم سه ساله که روی Istio ambient service mesh و کامپوننت Rustی‌اش به اسم ztunnel کار می‌کنه و درس‌های همون‌جا رو اینجا به کار برده. agentgateway روی Tokio و Hyper ساخته شده و از یه معماری کنترلی xDS استفاده می‌کنه که اجازه می‌ده config به‌صورت داینامیک و بدون restart دیتاپلین به‌روز بشه.

از نظر کارایی، تو بنچمارک‌های خودشون agentgateway حدود ۵۰۰ هزار QPS با ۵۱۲ کانکشن می‌ده و تو یه بنچمارک دیگه زیر ۰.۲ میلی‌ثانیه تأخیر P99 رو تو ۳۰ هزار QPS نگه داشته. این پروژه به بنیاد AAIF (Agentic AI Infrastructure Foundation) اهدا شده تا زیر governance بی‌طرف اداره بشه و Istio هم اون رو به‌عنوان یه گزینهٔ دیتاپلین برای کاربردهای AI gateway پذیرفته. دانلودهای هفتگی‌اش هم از حدود ۱۰۰ هزار به بیش از ۱ میلیون رسیده.

نکات کلیدی:

• agentgateway یه گیت‌وی واحده که ترافیک معمولی API و ترافیک AI (MCP، A2A، LLM) رو با هم مدیریت می‌کنه
• ایدهٔ اصلی: نساختن استک موازی و جدا برای AI، تا از دوباره‌کاری سیاست و observability جلوگیری بشه
• با Rust روی Tokio و Hyper نوشته شده و از معماری کنترلی xDS برای به‌روزرسانی بدون restart استفاده می‌کنه
• تو بنچمارک حدود ۵۰۰ هزار QPS و تأخیر P99 زیر ۰.۲ میلی‌ثانیه گزارش شده
• به بنیاد AAIF اهدا شده و Istio اون رو به‌عنوان گزینهٔ دیتاپلین AI gateway پذیرفته