میسترال Search Toolkit رو معرفی کرد
هوش مصنوعیخلاصهٔ کاملتر
میسترال ابزار Search Toolkit رو در حالت پیشنمایش عمومی منتشر کرد: یه فریمورک ترکیبپذیر برای ساخت پایپلاینهای سرچ پروداکشن مخصوص اپلیکیشنهای هوش مصنوعی. استدلال میسترال اینه که تیمها هنوز بیشتر وقت مهندسیشون رو صرف لولهکشی میکنن: برای ورود داده یه ابزار، برای بازیابی یکی دیگه و برای ارزیابی — اگه اصلاً انجام بشه — یه فریمورک جدا با فرضهای متفاوت درباره شکل داده.
این جعبهابزار هر سه رو با یه رابط مشترک زیر یه سقف میبره. بخش ورود داده، پارسکردن سند، چانکینگ و تولید embedding رو مدیریت میکنه و فرمتهای خاص هم از طریق یه رابط آداپتور استاندارد وصل میشن. بازیابی سه حالت داره: BM25 اسپارس، بازیابی متراکم مبتنی بر embedding و ترکیب هیبرید هر دو. ارزیابی هم با متریکهای recall، precision، MRR و NDCG توکاره و میشه پیکربندیهای مختلف retriever رو کنار هم مقایسه کرد.
یکی از دردهای اصلی که نشونه گرفته، سؤال کلاسیک RAG هست: وقتی نتیجه بد از آب درمیاد، مشکل از بازیابیه یا تولید؟ بیشتر تیمها راه تمیزی برای جوابدادن ندارن و کورکورانه پرامپت و چانکینگ و مدل رو عوض میکنن. ارزیابی توکار Search Toolkit عملکرد retriever رو مستقل میسنجه تا کیفیت بازیابی از کیفیت تولید جدا بشه.
برای سازمانها هم حرفش اینه که «شما یه مشکل سرچ ندارین، دوازدهتا دارین»: ویکی داخلی، سیستم تیکت، مخزن اسناد، فایلاستوریج و کدبیس هر کدوم ساختار و متادیتای خودشون رو دارن. بهجای ساختن پایپلاین جدا برای هر منبع، الگوهای پردازش و ایندکس یکنواخت توی یه فریمورک ارائه میشه تا اضافهکردن منبع جدید نیازی به بازسازی کل پایپلاین نداشته باشه.
زاویه ایجنتی هم پررنگه: ایجنتها خودمختار و با حجم بالا تصمیم بازیابی میگیرن، پس کیفیت زیرساخت سرچ مستقیم روی همه مراحل بعدی اثر میذاره. ایجنت میتونه برای جستوجو توی حجم بزرگ محتوا از ایندکس معنایی استفاده کنه و برای داده زنده، با Connectorهای مبتنی بر MCP مستقیم سراغ CRM یا مخزن کد بره.
Search Toolkit متنبازه و روی کلاد، on-premises یا لبه اجرا میشه و به ادعای میسترال توی صنایع مالی، تولید، بخش عمومی و رسانه محک خورده؛ مثلاً CMA CGM ازش کنار مدل صوتی Voxtral برای کمک به روزنامهنگارها در تشخیص اخبار جعلی استفاده میکنه و پایپلاینش صدای سه منبع مختلف رو پردازش و زیر ۱۵ ثانیه هشدار صادر میکنه. شروع سریع هم با قالب starter app توی گیتهاب ممکنه که ایندکس Vespa و بازیابی هیبرید از قبل توش تنظیم شده.
نکات کلیدی:
- ورود داده، بازیابی و ارزیابی سرچ توی یه فریمورک با رابط مشترک
- پشتیبانی از BM25، بازیابی برداری و حالت هیبرید
- ارزیابی توکار با recall، precision، MRR و NDCG برای جداکردن کیفیت بازیابی از تولید
- متنباز و قابل اجرا روی کلاد، on-premises و لبه
- قالب آماده starter app با ایندکس Vespa و بازیابی هیبرید
