‏جستجوی هوشمند با ایجنت‌های هوش مصنوعی

یه سوال چالش‌برانگیز تو دنیای موتورهای جستجو مطرح شده: آیا یه ایجنت هوش مصنوعی که با ابزارهای جستجوی ساده کار می‌کنه می‌تونه جای APIهای پیچیده سرچ رو بگیره؟ سیستم‌های جستجوی امروزی معمولاً یه لایه پیچیده از query understanding، بک‌اند‌های مختلف و reranking دارن. اما اگه یه ایجنت بتونه همه این کارها رو خودش انجام بده چی؟

نویسنده این آزمایش رو با دیتاست Amazon ESCI انجام داده. خط پایه با BM25 معیار NDCG رو روی 0.289 می‌بینیم. با امبدینگ E5 این عدد به 0.314 می‌رسه. حالا وقتی یه ایجنت مبتنی بر GPT-4o-mini وارد میدان می‌شه و فقط از E5 استفاده می‌کنه، عدد به 0.359 می‌رسه. با BM25 تنها به 0.385 و با ترکیب هر دو ابزار به 0.410. وقتی GPT-4 با هر دو ابزار کار می‌کنه، نتیجه 0.453 می‌شه. این جهش از 0.289 به 0.453 بدون هیچ فاین‌تیونینگ یا آموزش اختصاصی روی داده‌ها اتفاق افتاده.

اما این ایجنت‌ها دقیقاً چیکار می‌کنن؟ بیشتر اوقات هر ابزار رو فقط یه بار صدا می‌زنن، نتایج رو می‌بینن، رتبه‌بندی می‌کنن و تمام. ولی تو موارد جالب‌تر، ایجنت می‌فهمه که نتایج اولیه به دردش نمی‌خوره. مثلاً برای جستجوی "PVC coupler"، ایجنت می‌بینه که نتایج مربوط به کابل شبکه‌ست، نه لوله‌کشی. بنابراین یه کوئری دقیق‌تر به شکل "PVC pipe coupler" می‌زنه. این رفتار نشون‌دهنده یه نوع استدلال علت‌ومعلولیه که در جستجوی کلیدواژه‌ای منطقیه.

نویسنده تلاش می‌کنه این رفتار اکتشافی رو به جای استثنا، به یه قانون تبدیل کنه. برای این کار از دو روش استفاده می‌کنه: اول اینکه از ایجنت می‌خواد حداقل ۴ بار ابزار جستجو رو صدا بزنه. دوم اینکه کوئری‌های تکراری با شباهت بالا رو رد می‌کنه تا ایجنت مجبور بشه واقعاً فضای جستجو رو کشف کنه. با این روش، GPT-4o-mini از 0.410 به 0.430 می‌رسه؛ نزدیک به عملکرد GPT-4 با کمتر زحمت.

یه رویکرد دیگه‌ام وجود داره: مدل‌های جستجوی ایجنتیک مثل SID-1. این مدل‌ها به‌طور اختصاصی برای جستجو آموزش دیدن. فرق اصلی‌شون اینه که LLM‌های بزرگ مثل GPT، جستجو رو مثل وب‌سرچ می‌بینن؛ یه بار کوئری می‌زنن، نتایج رو قبول می‌کنن و ادامه می‌دن. اما SID-1 می‌دونه که retrieverهای شرکت‌ها ضعیف‌ترن، پس با دقت بیشتری کاوش می‌کنه، نتایج رو ارزیابی می‌کنه و دوباره امتحان می‌کنه. به‌عنوان یه زیرایجنت مستقل، اجازه می‌ده مدل اصلی روی مشکل کاربر تمرکز کنه.

اما این رویکرد همه‌جا کار نمی‌کنه. وقتی به دیتاست MSMarco می‌رسیم که مربوط به بازیابی اطلاعات متنیه، دادن ابزار به ایجنت هیچ بهبودی نمی‌ده. چون مدل امبدینگ اون دیتاست رو دیده و می‌شناسه. LLM نمی‌تونه چیزی رو ارزیابی کنه که خودش نمی‌دونه. اگه می‌دونست کدام اطلاعات درسته، اصلاً نیازی به جستجو نداشت.

این تفاوت بنیادینه: یه دنیا "پیدا کردن چیزها"ست (محصول، شغل، سند)؛ اونجا ایجنت می‌دونه چی خوبه و می‌تونه نتایج رو ارزیابی کنه. دنیای دیگه "یاد گرفتن اطلاعات جدید"ه؛ اونجا ایجنت خودش به جستجو نیاز داره و نمی‌تونه قضاوت کنه. این دومی همون چیزیه که به عنوان "Deep Research" می‌شناسیمش و همچنان قلمرو سیستم‌های سنتی سرچه.

نکات کلیدی:

• ترکیب BM25 + امبدینگ + ایجنت GPT-4 بدون هیچ فاین‌تیونینگی کیفیت جستجو رو از 0.289 به 0.453 رسوند
• ایجنت‌ها معمولاً فقط یه بار کوئری می‌زنن، ولی در جستجوی کلیدواژه‌ای بیشتر اکتشاف می‌کنن
• اجبار ایجنت به چند کوئری متنوع، مدل کوچک‌تر رو به عملکرد مدل بزرگ‌تر نزدیک می‌کنه
• مدل‌های اختصاصی مثل SID-1 برای جستجوی ایجنتیک طراحی شدن و بهتر از LLM‌های عمومی کاوش می‌کنن
• این رویکرد فقط برای "پیدا کردن چیزها" کار می‌کنه؛ برای بازیابی اطلاعاتی که مدل نمی‌شناسه، سیستم سنتی بهتره