‏Otari از Mozilla AI: یه دروازه واحد برای کنترل ایجنت‌های هوش مصنوعی

تیم Mozilla AI ابزاری به اسم Otari معرفی کرده که خودشون بهش می‌گن «سیستم‌عامل حاکمیت هوش مصنوعی». Otari یه gateway هست، یعنی یه لایه وسط که همه درخواست‌های اپ‌ها و ایجنت‌ها قبل از رسیدن به مدل ازش رد می‌شن. به گفته تیم، دو تا مشکل اصلی رو هدف گرفته: اینکه معمولاً کسی آگاهانه تعیین نمی‌کنه ایجنت تا کجا می‌تونه بره و چقدر خرج کنه، و اینکه تیم‌ها به یکی دو تا ارائه‌دهنده قفل شدن.

بخش حاکمیت این‌جوری کار می‌کنه: برای هر workspace تعیین می‌کنی کدوم مدل‌ها مجازن، جستجوی وب و اجرای کد روشن باشه یا خاموش، و کدوم بررسی‌های guardrail (یعنی چک‌های ایمنی روی درخواست) اجباری باشن. درخواستی که پرچم بخوره قبل از رسیدن به ارائه‌دهنده بلاک می‌شه. نویسنده تأکید می‌کنه چون قانون‌ها توی gateway هستن، مدل نمی‌تونه با حرف زدن دورشون بزنه.

بودجه هم روی کاربرها و کلیدهای اپلیکیشن تعریف می‌شه و Otari قبل از هر درخواست چکش می‌کنه. پیشنهاد نویسنده اینه که مثلاً یه ایجنت پشتیبانی رو با سقف کم شروع کنی و وقتی خودشو ثابت کرد، سقف رو ببری بالا. برای ایجنت‌های کدنویسی هم قابلیت Agent Guardrails هست که می‌تونه بعضی tool callها رو رد کنه و تغییرات ریپو رو قبل از تحویل کار بررسی کنه.

برای دیدن اتفاقات، Otari نشون می‌ده چی صدا زده شده، چی شکست خورده و چقدر هزینه داشته. session tracing هم همه مراحل یه جواب (چند تا model call، fallback، tool call ناموفق) رو توی یه تایم‌لاین کنار هم می‌ذاره، بدون اینکه خود prompt و جواب‌ها ذخیره بشن. یعنی می‌فهمی چرا یه کار گرون شد یا guardrail اصلاً اجرا شد یا نه.

بخش انتخاب هم ساده‌ست: اپ‌ها همه مدل‌ها رو از یه API صدا می‌زنن، پس عوض کردن مدل فقط یه تغییر config هست. قانون‌های fallback وقتی یه ارائه‌دهنده از دسترس خارج بشه درخواست رو جای دیگه می‌فرستن. ابزارهایی مثل جستجوی وب و اجرای کد هم از خود Otari میان، پس یه مدل open-weight همون امکانات مدل اختصاصی رو می‌گیره و می‌شه منصفانه مقایسه‌شون کرد. gateway با لایسنس Apache 2.0 متن‌بازه و نسخه میزبانی‌شده هم داره.

نکات کلیدی:

• Otari یه gateway متن‌باز با لایسنس Apache 2.0 از Mozilla AI هست
• برای هر workspace مدل‌های مجاز، جستجوی وب، اجرای کد و guardrailهای اجباری تعیین می‌شه
• بودجه روی کاربر و کلید اپلیکیشن تعریف و قبل از هر درخواست چک می‌شه
• session tracing کل مسیر یه جواب رو نشون می‌ده بدون ذخیره prompt و پاسخ
• عوض کردن ارائه‌دهنده مدل فقط یه تغییر config هست و fallback خودکار هم داره