Baseten روی مارکت‌پلیس OpenAI
هوش مصنوعیخلاصهٔ کامل‌تر
Baseten اعلام کرده که به‌عنوان یکی از اولین ارائه‌دهنده‌های inference مدل‌های بازمتن (یعنی اجرای مدل و جواب‌دادن به درخواست‌ها) وارد مارکت‌پلیس B2B اوپن‌ای‌آی شده. به گفتهٔ این شرکت یه اتصال بومی هم داخل Codex داره، پس مشتری سازمانی می‌تونه همون تعهد مالی فعلی‌ش به OpenAI رو خرج مدل‌های بازمتنی کنه که روی Baseten اجرا می‌شن، یا از Responses API استفاده کنه. نتیجهٔ عملی‌ش اینه که با بودجهٔ ثابت، هوش بیشتری به دست میاد.
تو این مقاله اومده که کدنویسی عاملی (agentic coding، یعنی سپردن کار کدنویسی به ایجنت‌هایی که خودشون چند مرحله رو جلو می‌برن) پرکاربردترین کاربرد فعلی هوش مصنوعیه و همین باعث شده اولین جریان کاری واقعاً چندمدلی در مقیاس جهانی باشه. نویسنده می‌گه تیم‌های جلودار دیگه به یه مدل نمی‌چسبن؛ با روترهای ثابت یا تطبیقی، هر کار رو به مدلی می‌سپرن که بهترین ترکیب هزینه، کیفیت و سرعت رو داره. چون فاصلهٔ انتشار مدل‌های تازه به چند هفته رسیده، هیچ مدلی زیاد بهترین نمی‌مونه.
برای اینکه این سیستم چندمدلی تو سازمان کار کنه، Baseten روی چند چیز تأکید می‌کنه. اول بهینه‌سازی عملکرد در همهٔ لایه‌ها، چون پرامپت‌های طولانی روی ریپوهای بزرگ و پنجره‌های کانتکست بزرگ به کل استک فشار می‌آرن. دوم ظرفیت چندابری: بیش از ۹۰ کلاستر روی بیشتر از ۲۰ ابر با استقرار active-active، یعنی از دست رفتن یه ارائه‌دهنده یا یه ریجن باعث میشه ترافیک جابه‌جا بشه نه اینکه کار بخوابه. سوم دسترسی روز صفر، یعنی مدل‌های بازمتن مهم همون روز انتشار روی Model APIs بالا می‌آن و عوض‌کردن مدل به‌اندازهٔ عوض‌کردن یه خط کد ساده‌ست.
بخش دیگه‌ش تجربهٔ توسعه‌دهنده و حاکمیت سازمانیه. Blaxel که حالا بخشی از Baseten شده، برای هر ایجنت یه سندباکس جدا می‌ده تا کدی که می‌نویسه جایی برای اجرا داشته باشه. از سمت امنیت هم اجرای مدل‌ها روی زیرساخت آمریکاست با سیاست نگه‌نداشتن داده (ZDR) برای همهٔ پرامپت‌ها، و میشه استقرار رو به یه ریجن خاص قفل کرد، دسترسی‌ها رو دقیق تنظیم کرد و مصرف رو به‌تفکیک مدل، کاربر یا کلید دید. نویسنده این‌ها رو لازمهٔ جدی‌گرفتن کد به‌عنوان دادهٔ حساس می‌دونه.
نکات کلیدی:
- Baseten یکی از اولین ارائه‌دهنده‌های مدل بازمتن در مارکت‌پلیس B2B اوپن‌ای‌آی، با اتصال بومی داخل Codex
- مشتری‌های سازمانی OpenAI می‌تونن تعهد مالی فعلی‌شون رو برای مدل‌های بازمتن روی Codex یا Responses API خرج کنن
- زیرساخت: بیش از ۹۰ کلاستر روی بیشتر از ۲۰ ابر، استقرار active-active و رابطه با بیش از ۲۰۰ تأمین‌کنندهٔ محاسبات
- مدل‌های بازمتن مهم روز اول انتشار روی Model APIs می‌آن و تغییر مدل با عوض‌کردن یه خط کد انجام میشه
- اجرای inference روی زیرساخت آمریکا با zero data retention برای همهٔ پرامپت‌ها و امکان قفل‌کردن ریجن
