اسنوفلیک: لازم نیست برای هر کاری گرون‌ترین مدل AI رو بیاری
هوش مصنوعیخلاصهٔ کامل‌تر
تو این مصاحبه TechRadar با Grace Adamson از اسنوفلیک، حرف اصلی اینه که تو موج اول هوش مصنوعی مولد همه دنبال قوی‌ترین مدل بودن. ولی حالا شرکت‌ها از آزمایش رسیدن به جایی که باید نتیجه واقعی بگیرن. Adamson می‌گه خیلی از کارها مثل دسته‌بندی، خلاصه‌سازی یا بیرون کشیدن اطلاعات از قرارداد، با یه مدل کارآمدتر یا متن‌باز تقریباً همون نتیجه رو با کسری از هزینه می‌دن.
ابزار اسنوفلیک برای این کار dynamic model routing تو Cortex AI Gateway هست (یعنی سیستمی که هر درخواست رو خودکار به مناسب‌ترین مدل می‌فرسته). کار ساده می‌ره سراغ یه مدل متن‌باز سبک و درخواستی که استدلال عمیق می‌خواد می‌ره سراغ یه مدل frontier (یعنی پیشرفته‌ترین و گرون‌ترین مدل‌ها). مدیرها مشخص می‌کنن کدوم مدل‌ها و ارائه‌دهنده‌ها مجازن، ولی برای کاربر عادی این انتخاب کاملاً نامرئیه.
طبق تست‌های داخلی اسنوفلیک، ایجنت‌هایی که از این مسیریابی استفاده کردن یه pipeline با dbt رو با تا سه برابر بهره‌وری بیشتر در مصرف توکن ساختن. این مقایسه با حالتیه که فقط از مدل frontier استفاده بشه و کیفیت هم یکی مونده. Adamson برای توضیح، مثال یه ماشین فرمول یک رو می‌زنه که هم باهاش مسابقه بدی و هم بری سوپرمارکت. نه کارایی‌ش به همه کارها می‌خوره، نه هزینه‌ش.
یه نکته مهم اینه که همه مدل‌ها زیر یه چتر governance هستن. یعنی همون سیاست‌های امنیتی مثل masking (پنهون کردن داده حساس) روی هر مدلی اعمال میشه، چه متن‌باز چه تجاری. پس انتخاب مدل ارزون‌تر به معنی کم کردن امنیت نیست. داده هم سر جاش می‌مونه و تیم‌ها می‌تونن بدون قرارداد جدید یا بررسی امنیتی تازه مدل عوض کنن.
برای کنترل هزینه، اسنوفلیک مصرف توکن و هزینه همه اپ‌ها و ایجنت‌ها رو یه جا نشون می‌ده، حتی ایجنت‌های شخص ثالثی که از طریق Cortex AI Gateway وصل شدن. میشه سقف خرج و سهمیه گذاشت و هزینه رو به تیم‌های مشخص نسبت داد. Adamson معتقده هر چی ایجنت‌ها خودکارتر بشن، این observability (یعنی دیدن دقیق مصرف، کارایی و هزینه) ضروری‌تر میشه.
درباره ROI، Adamson می‌گه میزان استفاده از AI به معنی بازگشت سرمایه نیست. باید از هدف هر پروژه شروع کرد و نتیجه رو با همون سنجید. مثلاً تشخیص تقلب یا افزایش فروش رو میشه مستقیم با عدد نشون داد. توصیه‌ش به مدیرعامل‌ها اینه که از نتیجه شروع کنن نه تکنولوژی. بعد governance و دید هزینه رو بسازن، چند use case پرارزش رو پایلوت کنن و روی آدم‌ها و فرایندها هم به اندازه تکنولوژی وقت بذارن.
نکات کلیدی:
- قابلیت dynamic model routing تو Cortex AI Gateway درخواست‌ها رو خودکار بین مدل‌های متن‌باز و frontier تقسیم می‌کنه.
- تو تست داخلی اسنوفلیک، ساخت یه pipeline با dbt تا ۳ برابر بهره‌وری توکن بیشتر با همون کیفیت داشت.
- سیاست‌های governance مثل masking روی همه مدل‌ها یکسان اعمال می‌شن.
- امکان سقف خرج، سهمیه و نسبت دادن هزینه به هر تیم داخل پلتفرم وجود داره.
- میزان استفاده از AI معیار ROI نیست و باید نتیجه رو با هدف هر پروژه سنجید.
