یک اندپوینت برای همهٔ مدلهای زبانی
هوش مصنوعیخلاصهٔ کاملتر
تو این مقاله اومده که مشکل اصلی تیمها دسترسی به مدلهای بیشتر نیست، بلکه اینه که هر مدل تازه تبدیل به یه پروژهٔ زیرساختی جدید میشه. وقتی اپلیکیشن مستقیم به یه ارائهدهنده وصل باشه، فقط به مدل وابسته نیست؛ به SDK، کلیدها، شکل درخواست و پاسخ، پیادهسازی استریم، قرارداد فراخوانی ابزار، محدودیت نرخ و شناسهٔ مدلها هم وابستهست. این منطقِ مخصوصِ هر ارائهدهنده بعد از مدتی تو کد، مدیریت سکرتها، مانیتورینگ و تست پخش میشه.
نویسنده این وضعیت رو به «دیپندنسی هل» تشبیه میکنه؛ همون دورانی که قبل از پکیجمنیجرهای قابل بازتولید و کانتینرها، آپدیت یه کتابخونه میتونست یه بخش بیربط رو خراب کنه. راهحل اون موقع هم حذف وابستگیها نبود، بلکه ساختن مرزهای پایدار بود: پکیجمنیجر، فایل قفل، کانتینر و رابطهای یکدست. به گفتهٔ نویسنده ارائهدهندههای مدل الان دقیقاً همون نقش اکوسیستمهای مستقل وابستگی رو دارن.
پیشنهاد عملی مقاله اینه که چرخهٔ عمر اپلیکیشن از چرخهٔ عمر مدل جدا بشه: اومدن یه مدل جدید باید یه تغییر کانفیگ باشه نه بازنویسی. Otari یه اندپوینت پایدارِ سازگار با API اوپنایآی و آنتروپیک میده و انتخاب ارائهدهنده، کلیدهای بالادستی، سیاست مسیریابی و رفتار فالبک پشت همون گیتوی میمونه. الان بیش از ۴۰ ارائهدهنده پشتیبانی میشه.
یه نکتهٔ جالب دیگه اینه که مدل کوچیک نباید یعنی پلتفرم کوچیک. مدلهای سبک یا اوپنویت ممکنه از نظر هزینه، تأخیر یا حریم خصوصی گزینهٔ بهتری باشن، ولی معمولاً امکانات مدیریتشدهٔ مدلهای بزرگ رو ندارن. این گیتوی ابزارهای مستقل از مدل مثل جستجوی وب و اجرای کد تو سندباکس رو از همون مسیر میده، و همین مدلهای کوچیک رو خیلی جذابتر میکنه.
بخش آخر دربارهٔ سکرت و هزینهست. کلیدهای ارائهدهندهها بهصورت متمرکز نگه داشته میشن و اپلیکیشن فقط با کلید محدود به ورکاسپیس با گیتوی حرف میزنه، پس نشت کلیدِ اپ دامنهٔ محدودتری داره. مصرف و هزینهٔ همهٔ ارائهدهندهها هم یهجا ثبت میشه و میشه براش بودجه و سقف تعریف کرد. نویسنده تأکید میکنه این ابزار جای قضاوت مهندسی رو نمیگیره، فقط کار تکراری یکپارچهسازی رو حذف میکنه.
نکات کلیدی:
- هزینهٔ واقعی مدل جدید، کار یکپارچهسازی با ارائهدهندهست نه خود مدل
- منطق مخصوص هر ارائهدهنده تو کد، سکرتها، تست و مانیتورینگ پخش میشه
- راهحل پیشنهادی: یه اندپوینت پایدار سازگار با API اوپنایآی و آنتروپیک
- Otari بیش از ۴۰ ارائهدهنده، مسیریابی، فالبک و ابزارهای مستقل از مدل رو پوشش میده
- کلیدها متمرکز و مصرف و هزینه یکجا قابل رصد و محدود کردنه
