دیزاین سیستم یعنی مجموعه‌ای از تصمیم‌ها
هوش مصنوعی
فرانتاندخلاصهٔ کامل‌تر
تو مقاله‌ای از Southleft اومده که بهترین راه فکر کردن به دیزاین سیستم اینه: یه مجموعه از تصمیم‌ها. این کامپوننت برای این کار، این توکن به جای یه مقدار دلخواه، حالت‌های پشتیبانی‌شده این‌هان، کار خطرناک این‌جوری تأیید میشه. نویسنده می‌گه بعضی از این‌ها اولش سلیقه بودن، ولی وقتی وارد سیستم شدن، دیگه تیم لازم نیست هر بار از اول سرشون بحث کنه.
حالا که ایجنت‌های AI از روی همین سیستم‌ها کار تولید می‌کنن، سؤال اینه که چطور بفهمیم سیستم رو رعایت کردن. اینجا بحث eval (یعنی تست‌هایی که خروجی مدل رو می‌سنجن) پیش میاد. به گفتهٔ نویسنده اول باید سراغ چیزی رفت که از خود خروجی قابل اثباته: کامپوننت واقعی از کتابخونه استفاده شده؟ وریانت پشتیبانی‌شده بوده؟ مقدارها به توکن درست وصلن یا یه عدد دلخواه گذاشته؟
مرحلهٔ بعد جاییه که خروجی از نظر ساختاری درسته ولی بازم غلطه. مثلاً ایجنت برای یه عمل خطرناک از مودالی استفاده کرده که تو کتابخونه هست و همهٔ توکن‌هاش هم درسته، ولی سیستم گفته بود این کار باید با الگوی تأیید مشخص و مسیر انصراف روشن انجام بشه. اینجا LLM-as-judge (یعنی یه مدل که با مستندات سیستم خروجی رو داوری می‌کنه) به درد می‌خوره، چون هنوز یه کلید پاسخ هست، فقط به‌جای یه شرط بولین تو یه فایل markdown نوشته شده.
نویسنده برای مرز کشیدن یه مثال می‌زنه. یه اتاق پر از طراح رو بذار جلوی یه لندینگ‌پیج و بپرس CTA باید بالاتر بره یا نه؛ چند تا جواب قابل دفاع می‌گیری. همون سؤال رو از اتاق مهندس‌ها دربارهٔ دوبار شارژ شدن یه پرداخت ناموفق بپرس، اون اتاق آخرش به یه جواب می‌رسه. هر دو تخصص و قضاوت لازم دارن، ولی فقط یکیشون کلید پاسخ داره.
به گفتهٔ نویسنده eval تصویری وقتی معنی داره که مرجعی برای مقایسه باشه، مثلاً طرحی که ایجنت داره بازتولیدش می‌کنه. خودش خروجی دیزاین سیستمِ AI رو با سه معیار می‌سنجه: conformance، governance و fidelity، به همین ترتیبِ اعتماد. چیزی که انتظارش رو نداشته این بوده که مدل‌های بهتر فاصلهٔ conformance رو کم نکردن، فقط خطاها رو سخت‌تر قابل‌تشخیص کردن؛ کامپوننت ساختگی قبلاً غلط به نظر می‌اومد، حالا شبیه یه چیز واقعی میشه. حرف آخرش اینه که ایجنت کار بین دروازه‌ها رو بکنه و آدم صاحب دروازه بمونه.
نکات کلیدی:
- چک‌های قابل‌اثبات از خود خروجی (کامپوننت واقعی، توکن درست، اینستنس جدانشده) اولین و قابل‌اعتمادترین لایهٔ eval هست
- LLM-as-judge برای الگوها و گاردریل‌های مستندشده جواب می‌ده، چون کلید پاسخ تو مستندات هست
- eval تصویری فقط با یه مرجع مشخص کار می‌کنه، نه برای نمره دادن به یه طرح تازه
- ترتیب اعتماد نویسنده تو بنچمارک: اول conformance، بعد governance، بعد fidelity
- مدل‌های جدیدتر کامپوننت ساختگی کمتری نساختن، فقط ساخته‌هاشون شبیه‌تر به واقعی شده
