‏ارزیابی ایجنت‌های هوش مصنوعی: راهنمای جامع

ارزیابی مدل‌های زبانی بزرگ (LLM) همیشه مهم بوده، اما با گسترش ایجنت‌های هوش مصنوعی این چالش وارد مرحله‌ی جدیدی شده. ایجنت‌ها برخلاف LLMهای معمولی که فقط یک خروجی به ازای یک ورودی تولید می‌کنن، در یک حلقه‌ی خودکار (agentic loop) کار می‌کنن: محیط رو رصد می‌کنن، استدلال می‌کنن، ابزار صدا می‌زنن و از اشتباهاتشون برمی‌گردن. این خودمختاری ارزیابی‌شون رو اساساً متفاوت می‌کنه.

یک ایجنت از سه بخش اصلی تشکیل شده: مدل زبانی پایه (که نقش مغز سیستم رو داره)، ابزارها (مثل API، CLI یا MCP server)، و دستورالعمل‌ها. ابزارها به ایجنت اجازه می‌دن با دنیای بیرون تعامل داشته باشه؛ مثلاً یک جدول رستوران رزرو کنه یا اطلاعاتی از وب بگیره. مدل‌هایی مثل Qwen3 این فراخوانی رو از طریق تگ‌های XML مثل و مدیریت می‌کنن:

<tool_call>
{"name": "search_web", "arguments": {"query": "first president of the United States"}}
</tool_call>

برای ارزیابی ابزار، چند متریک مختلف وجود داره: دقت فراخوانی (آیا ایجنت اصلاً باید ابزار صدا می‌زد؟)، دقت انتخاب (آیا ابزار درست رو انتخاب کرد؟)، صحت ساختاری (آیا فراخوانی فرمت درستی داشت؟)، و دقت مسیر (آیا ترتیب فراخوانی‌ها با مسیر صحیح تطابق داشت؟). می‌شه از رویکرد نتیجه‌محور هم استفاده کرد و فقط درستی پاسخ نهایی رو سنجید.

یکی از مهم‌ترین چالش‌ها در ایجنت‌ها، مدیریت context هست. مفهومی به نام context rot وجود داره: وقتی تعداد توکن‌های context ایجنت زیاد می‌شه، مدل در بازیابی اطلاعات دچار خطا می‌شه. برای مقابله با این مشکل، تکنیک‌هایی مثل خلاصه‌سازی مکالمه، پاک کردن خروجی‌های قدیمی ابزار، و یادداشت‌برداری در فایل‌های خارجی (note-taking) استفاده می‌شن. یادداشت‌برداری یکی از موثرترین روش‌هاست چون ایجنت می‌تونه دانشش رو خارج از context نگه داره و هر وقت لازم شد بهش دسترسی پیدا کنه.

فریم‌ورک ReAct (مخفف Reasoning and Action) یکی از اولین و محبوب‌ترین الگوهای agentic loop هست. در این رویکرد، ایجنت در هر گام ابتدا وضعیت فعلی رو مشاهده می‌کنه، درباره‌ی بهترین اقدام بعدی فکر می‌کنه، و بعد عمل می‌کنه. این چرخه‌ی استدلال-عمل تا رسیدن به پاسخ نهایی ادامه پیدا می‌کنه.

وقتی یک ایجنت به تنهایی کافی نباشه، می‌شه سراغ سیستم‌های چندایجنتی رفت. دو الگوی رایج وجود داره: الگوی مدیر-زیردست (manager setup) که یک ایجنت مرکزی کارها رو بین ایجنت‌های تخصصی تقسیم می‌کنه، و الگوی غیرمتمرکز (decentralized) که ایجنت‌ها به صورت هم‌سطح کنترل رو به هم پاس می‌دن. توصیه‌ی کلی اینه که همیشه از یک ایجنت ساده شروع کنید و فقط وقتی واقعاً لازم شد، به سیستم چندایجنتی گسترش بدید.

نکات کلیدی:

• ایجنت‌ها با ابزار، دستورالعمل و یک مدل زبانی پایه در یک حلقه‌ی خودکار کار می‌کنن
• ارزیابی ابزار شامل چند متریک مجزاست: انتخاب، ساختار، مسیر و نتیجه‌ی نهایی
• context rot یک مشکل جدی در ایجنت‌های بلندمدته که باید با مدیریت فعال context حل بشه
• ReAct یکی از رایج‌ترین الگوهای ساختار agentic loop هست
• قبل از رفتن سراغ سیستم چندایجنتی، باید ایجنت تکی رو تا جای ممکن بهینه کرد
• برای ارزیابی درست، باید محیط‌های آزمایشی شبیه به استفاده‌ی واقعی ساخته بشه