‏مشکل ایجنت تو پروداکشن معمولاً مدل نیست

این ماژول از سری آموزشی ایجنت‌های AI در AWS Marketplace با یه ادعای مشخص شروع می‌شه: وقتی یه ایجنت تو پروداکشن خراب می‌شه، معمولاً مقصر مدل نیست، لایهٔ exposure هست؛ یعنی همون لایه‌ای که ایجنت رو در معرض کالرهاش می‌ذاره. به گفتهٔ نویسنده‌ها دلیلش اینه که ترافیک ایجنت چهارتا فرض API معمولی رو می‌شکنه: درخواست‌های صدها کیلوبایتی به‌جای چندصد بایت JSON، پاسخ‌های چندثانیه‌ای که تکه‌تکه می‌رسن، خروجی غیرقطعی که هر کش و تستی رو بی‌اثر می‌کنه، و هزینهٔ واقعی هر درخواست.

راهنما چهار الگو برای رسیدن به ایجنت رو مقایسه می‌کنه: فراخوانی مستقیم مثل InvokeAgent روی Amazon Bedrock که فقط داخل مرز اکانت خودت جواب می‌ده، فراخوانی از پشت Amazon API Gateway که حدود ۱۰ تا ۵۰ میلی‌ثانیه اضافه می‌کنه ولی usage plan و ولیدیشن و لاگ دسترسی رو بهت می‌ده، الگوی رویدادمحور با SQS و EventBridge برای کارهایی که جواب فوری نمی‌خوان، و آخری انتشار ایجنت به شکل یه سرور MCP که هر کلاینت سازگار با این پروتکل می‌تونه پیداش کنه و صداش بزنه.

سخت‌ترین بخش طراحی، رد کردن کانتکست بزرگ از این مسیره. یه پنجرهٔ ۲۰۰ هزار توکنی تقریباً ۸۰۰ کیلوبایت متن ساده‌ست، ولی API Gateway تا ۱۰ مگابایت، Lambda تو فراخوانی سینک تا ۶ مگابایت و تو فراخوانی اَسینک فقط تا ۲۵۶ کیلوبایت قبول می‌کنه؛ SQS و EventBridge هم روی همون ۲۵۶ کیلوبایت وامی‌ایستن. کوچیک‌ترین سقف مسیر برنده‌ست، پس سقف عملی یه مسیر سینک ۶ مگابایته و یه مسیر رویدادمحور ۲۵۶ کیلوبایت.

برای عبور از این سقف‌ها سه راه پیشنهاد شده. تا حدود ۲۵۰ کیلوبایت کانتکست رو مستقیم تو بادی بفرست. بالاتر از اون کلاینت فایل رو با یه presigned URL روی S3 بذاره و فقط کلید آبجکت و هش محتوا رو پست کنه؛ چک کردن prefix مخصوص هر tenant سمت سرور همون کنترلیه که جلوی خوندن کانتکست یه مشتری دیگه رو می‌گیره. و اگه کانتکست با هر turn بزرگ‌تر می‌شه، سشن رو سمت سرور نگه دار تا حجم درخواست دیگه به سن مکالمه وابسته نباشه.

یه نکتهٔ امنیتی هم هست که راهنما روش تأکید داره: ولیدیشن با JSON Schema فقط شکل درخواست رو چک می‌کنه و دربارهٔ محتوای متن آزاد هیچی نمی‌گه، پس فیلدهایی مثل شناسهٔ tenant، override پرامپت سیستمی، انتخاب مدل و لیست مجاز ابزارها باید از هویت احرازشده در بیاد، نه از بادی درخواست. برای انتخاب پروتکل هم می‌گه Amazon API Gateway اصلاً gRPC رو پراکسی نمی‌کنه و Lambda هم هدف gRPC نیست، پس رفتن سراغ gRPC یعنی رفتن سراغ ALB یا VPC Lattice و کامپیوت بلندمدت.

نکات کلیدی:

• تایم‌اوت پیش‌فرض اینتگریشن تو REST APIهای Amazon API Gateway ۲۹ ثانیه و تو HTTP APIها ۳۰ ثانیه‌ست.
• دو فیلد token usage و دلیل پایان پاسخ باید از روز اول تو قرارداد API باشن، وگرنه کلاینت جواب بریده رو کامل حساب می‌کنه.
• هر درخواستی که side effect داره باید idempotency key بگیره و با conditional write تو DynamoDB ثبت بشه.
• تو GraphQL هزینهٔ کوئری دست کالره، پس تعداد فراخوانی ایجنت باید جدا از تعداد ریکوئست HTTP سهمیه‌بندی بشه.
• ابزارهای معرفی‌شده تو این ماژول: Kong، KrakenD، Tyk، LaunchDarkly، Logz.io و Portkey AI.
• وبینار رایگان این ماژول ۲۹ سپتامبر ۲۰۲۶ ساعت ۱۰ صبح به وقت PT برگزار می‌شه.