‏chat.agent؛ چت هوش مصنوعی که تایم‌اوت نداره

تریگر دات دو قابلیت chat.agent رو معرفی کرده: راهی برای ساختن چت‌های هوش مصنوعی که به‌جای یه API route معمولی روی یه ماشین لینوکسی واقعی اجرا می‌شن. به گفتهٔ تیم، این ماشین با اولین پیام بالا میاد، تا هر وقت که کار طول بکشه اجرا می‌مونه و بین نوبت‌ها همه‌چیزو تو حافظه نگه می‌داره. chat.agent از ۲ جولای GA شده و از ژوئن تو production بوده؛ Arena قابلیت Agent Mode خودشو روی همین ساخته.

نوشتنش تفاوت خاصی با کد معمولی AI SDK نداره. یه task می‌نویسی که پیام‌ها رو می‌گیره و یه stream برمی‌گردونه، بعد useChat سمت کلاینت مستقیم به همون وصل می‌شه و دیگه هیچ API route‌ای وسط نمی‌مونه:

export const myChat = chat.agent({
  id: "my-chat",
  run: async ({ messages, signal }) =>
    streamText({
      model: anthropic("claude-sonnet-4-5"),
      messages,
      abortSignal: signal,
    }),
});

مهم‌ترین فرقش با یه endpoint معمولی اینه که نوبت‌ها تایم‌اوت ندارن. تو production از هر بیست ران یکی بیشتر از ۳۶ دقیقه طول می‌کشه، یعنی خیلی جلوتر از جایی که یه request عادی قطع می‌شد. حافظهٔ درون‌فرایندی هم بین خواب و بیداری ماشین می‌مونه، پس یه lookup گرون که نوبت سوم انجام دادی فردا سر نوبت بیستم هنوز سر جاشه. البته اگه ماشین کرش کنه heap خالی می‌شه و فقط خود گفتگو برمی‌گرده، پس هرچی نباید از دست بره باید تو دیتابیس بشینه.

استریم هم durable ـه: وسط جواب صفحه رو رفرش کنی، از همون نقطه‌ای که مرورگرت خونده بود replay می‌شه بدون اینکه مدل دوباره اجرا شه. برای اینکه durable بودن به قیمت کندی تموم نشه، Head Start هم هست که اولین درخواست مدل رو تو سرور گرم خودت اجرا می‌کنه و همزمان agent بالا میاد، بعد وسط نوبت گفتگو رو تحویل می‌ده. تو تست‌های خود تیم، هم زمان تا اولین توکن و هم طول کل نوبت تقریباً نصف شده.

یه tool که execute نداره نوبت رو همون‌جا تموم می‌کنه و agent معلق می‌مونه تا یه آدم جواب بده. چون معلقه بابت انتظار پولی نمی‌دی، پس یه تأیید می‌تونه تا فردا یا آخر هفته باز بمونه:

export const requestApproval = tool({
  description: "Ask the user to approve an irreversible action.",
  inputSchema: z.object({ action: z.string() }),
  // No execute. The turn ends here and the agent suspends.
});

کنار اینا هر نوبت یه span تو داشبورده و یه داشبورد AI metrics هزینه و توکن و latency رو نشون می‌ده.

نکات کلیدی:

• chat.agent از ۲ جولای GA شده، از ژوئن تو production بوده و بیش از ۸۴ سال compute جواب داده
• نوبت‌ها تایم‌اوت ندارن؛ یک ران از هر بیست تا بیشتر از ۳۶ دقیقه طول می‌کشه
• ماشین‌ها از پریست micro با ۰٫۲۵ vCPU شروع می‌شن و برای هر agent یا هر گفتگو قابل تنظیمن
• Head Start تو تست‌های تیم زمان تا اولین توکن و طول نوبت رو تقریباً نصف کرده
• انتظار هزینه نداره؛ صورتحساب فقط بابت زمان اجرای واقعیه و پروژه Apache 2.0 ـه