چرا ایجنت AI کارو کامل تحویل نمیده
هوش مصنوعی
تستخلاصهٔ کاملتر
تو این مقاله اومده که ایجنتهای هوش مصنوعی معمولاً کار رو حدود ۶۰ تا ۷۰ درصد تحویل میدن و بقیهش با چند دور فیدبک دستی به ۹۰ تا ۹۵ درصد میرسه. به گفتهٔ نویسنده مشکل از پرامپت نیست؛ چیزی که کمه یه مرحلهٔ راستیآزمایی داخل خود ورکفلوئه — همون کاری که خودت موقع بازبینی انجام میدی، فقط اتوماتیک.
حلقهٔ راستیآزمایی یعنی ایجنت بعد از تولید خروجی، اونو مقابل یه استاندارد چک کنه، جای خالی رو پیدا کنه، درستش کنه و دوباره چک کنه. برای کد و سایت این یعنی اسکرینشاتگرفتن و بررسی چیدمان توی دسکتاپ و موبایل، کلیککردن روی دکمهها و ارسال فرمها برای اطمینان از اینکه داده جای درست میشینه، و اجرای تست خودکار بهجای نگاهکردن ساده به خروجی.
برای راهاندازیش به تیم QA نیاز نیست. اول باید تعریف کنی «تمامشده» یعنی چی، چون دستور مبهم باعث میشه ایجنت هرجا احساس اطمینان کرد وایسه. بعد ابزار چککردن بهش بدی: مرورگر برای سایت، تستسوییت برای کد. بعد هم چک رو به اصلاح وصل کنی تا حلقه تکرار بشه. نویسنده یه نکتهٔ جالب اضافه میکنه: چون مدلها اهل تأییدن، بازبینی رو به یه پرسونای شکاک بسپار.
بخش بعدی مقاله دربارهٔ evalهاست. چون مدلها قطعی نیستن، یه اجرای موفق چیز زیادی ثابت نمیکنه. روشش اینه: یه مجموعه نمونهٔ واقعی با جواب درست (golden dataset) جمع کنی — حتی بیست نمونه هم برای شروع بسه — ایجنت رو روشون اجرا کنی و نمره بدی. جوابهای عینی با کد نمره میگیرن و مواردی که قضاوت میخوان با یه مدل دیگه بهعنوان داور. بعد از هر تغییر توی پرامپت، ابزار یا مدل، دوباره اجراش کن.
نویسنده تأکید میکنه راستیآزمایی جای کنترل دسترسی رو نمیگیره. ایجنت میتونه یه پیشنویس بینقص بسازه و همزمان به ابزاری دسترسی داشته باشه که کاری رو انجام بده که کسی نخواسته — مثل ارسال ایمیل بهجای پیشنویس. جملهٔ «فقط پیشنویس بنویس» توی پرامپت یه پیشنهاده؛ محدودکردن واقعی وقتی اتفاق میافته که کلید API و خود ابزار محدود باشن.
نکات کلیدی:
- خروجی اول ایجنت معمولاً ۶۰ تا ۷۰ درصد کاره؛ حلقهٔ راستیآزمایی این فاصله رو پر میکنه
- اول تعریف کن «تمامشده» چه شکلیه، بعد ابزار چککردن بهش بده
- برای سایت: اسکرینشات، بررسی موبایل و کلیک روی دکمهها و فرمها
- بازبینی رو به یه پرسونای شکاک بسپار تا فقط تأیید نکنه
- evalها با یه دیتاست کوچیک از نمونههای درست شروع میشن؛ بیست تا هم کافیه
- راستیآزمایی جای محدودکردن دسترسی ابزار رو نمیگیره
