‏کلادفلر Workers AI و AI Gateway رو یکی می‌کنه

به گفته‌ی تیم کلادفلر، AI Gateway و Workers AI از اول دو محصول جدا بودن ولی کاربرهاشون کم‌کم به هم رسیدن. با AI Gateway می‌شه درخواست‌ها رو به هر ارائه‌دهنده‌ی مدلی پروکسی کرد و مشاهده‌پذیری، لاگ، کنترل دسترسی و امنیت رو آماده تحویل گرفت؛ Workers AI هم مدل‌ها رو روی زیرساخت GPU خود کلادفلر میزبانی می‌کنه و به شکل inference-as-a-service در اختیار می‌ذاره. معماری‌شون فرق داره ولی از دید کاربر یه کار می‌کنن، برای همین حالا دارن به یه مسیر واحد تبدیل می‌شن.

این یکی‌شدن از ورودی‌ها شروع شده: یه بایندینگ AI هست که هم AI Gateway رو صدا می‌زنه هم Workers AI، و بایندینگ جدا برای هرکدوم اصلاً وجود نداره. یه REST API واحد هم روی اندپوینت /ai/ معرفی شده. چند ماه پیش مفهوم گیت‌وی default اومد تا کسی که تا حالا گیت‌وی نساخته هم به‌صورت خودکار لاگ و مشاهده‌پذیری بگیره؛ کافیه همین مقدار رو پاس بدی و گیت‌وی موقع اولین درخواست احراز هویت‌شده خودش ساخته می‌شه.

نتیجه‌ی عملیش اینه که دیگه لازم نیست قبل از شروع، دستی گیت‌وی بسازی تا ببینی روی ترافیک اینفرنست چی می‌گذره. هر درخواست با پیلود کامل درخواست و پاسخ لاگ می‌شه، تعداد توکن به تفکیک مدل شمرده می‌شه و بدون هیچ تنظیمی تو داشبورد، هزینه هم به همون درخواست نسبت داده می‌شه. اگه بعداً از گیت‌وی پیش‌فرض جلو زدی و مثلاً قانون کش سفارشی یا تفکیک ترافیک بین اپلیکیشن‌ها خواستی، یه گیت‌وی اسم‌دار می‌سازی و فقط همون یه پارامتر رو عوض می‌کنی.

تو بایندینگ، کل تغییر اضافه شدن یه آرگومان سومه:

const response = await env.AI.run(
  '@cf/zai-org/glm-5.2',
  { messages: [{ role: 'user', content: 'Hello!' }] },
  { gateway: { id: 'default' } } // Auto-creates the gateway on first use
);

خبر تازه‌ی امروز اینه که اعتبار AI Gateway رو می‌شه روی Workers AI هم خرج کرد. تا قبل از این، اعتبارها فقط برای ارائه‌دهنده‌های بیرونی مثل OpenAI و Anthropic کار می‌کرد؛ حالا صورتحساب یکپارچه شده و می‌تونی یه کیف‌پول اعتبار شارژ کنی و همون رو بین ارائه‌دهنده‌ها و Workers AI پخش کنی. کلادفلر برای تشویق به این مسیر، ریت‌لیمیت بالاتری هم روی مدل‌های Workers AI می‌ده که جزئیات به‌روزش تو داکیومنت توسعه‌دهنده‌ها اومده.

نویسنده‌ها می‌گن قدم بعدی مسیریابی مدل‌محوره: به‌جای اینکه اول ارائه‌دهنده رو انتخاب کنی و نگران قطعی و ریت‌لیمیتش باشی، اسم مدل رو می‌گی و کنترل‌پلین خودش سراغ انتخاب ارائه‌دهنده، فیل‌اور و توزیع بار می‌ره. یعنی مدلی مثل Kimi K2.7 Code رو می‌خوای و مهم نیست از Workers AI بیاد یا از API خود Moonshot؛ اگه Workers AI ظرفیت نداشته باشه ترافیک بی‌سروصدا به یه ارائه‌دهنده‌ی دیگه‌ی همون وزن‌ها منتقل می‌شه، اون هم بدون منطق فیل‌اور تو کد خودت.

بعد از اون هم قراره مسیریابی هوشمند بیاد: یه کلسیفایر روی Workers AI پرامپت رو می‌خونه و حدس می‌زنه نوع کار چیه (کدنویسی، تحقیق، خلاصه‌سازی، پرسش‌وپاسخ عمومی)، چقدر پیچیده‌ست و کانتکست چقدر اهمیت داره، بعد یه امتیازدهنده‌ی heuristic بهترین مدل رو از یه استخر منتخب انتخاب می‌کنه. به گفته‌ی نویسنده‌ها این یکی هنوز داخلی داره پایلوت می‌شه و چند هفته‌ای تست و اصلاح می‌خواد.

نکات کلیدی:

• بایندینگ AI و REST API روی /ai/ حالا مسیر مشترک AI Gateway و Workers AI هستن
• با پاس دادن گیت‌وی default بدون هیچ ساخت دستی، لاگ کامل، شمارش توکن و نسبت‌دادن هزینه رو می‌گیری
• اعتبار AI Gateway از امروز روی Workers AI هم خرج می‌شه و ریت‌لیمیت بالاتری همراه داره
• مسیریابی مدل‌محور در راهه: مدل رو می‌گی، گیت‌وی ارائه‌دهنده و فیل‌اور رو مدیریت می‌کنه
• مسیریابی هوشمند با یه کلسیفایر روی Workers AI هنوز تو مرحله‌ی پایلوت داخلیه