چرا نباید به عدد اطمینانی که LLM می‌ده اعتماد کرد
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
امروز خیلی از طراح‌های ایجنت از LLM می‌خوان کنار جوابش یه نمره اطمینان هم بده. نویسنده‌ی این پست، Amrut Joshi، می‌گه هیچ دلیل خوبی برای اعتماد به این عدد وجود نداره. برای توضیحش از مثال هواشناس شروع می‌کنه: وقتی هواشناس می‌گه «۷۰ درصد احتمال بارون هست»، این عدد از اطلاعات واقعی مثل فشار هوا، رطوبت و آمار سال‌های قبل میاد و تقریباً یه محاسبه‌ست، نه نظر شخصی.
به گفته‌ی نویسنده، درستی یه نمره اطمینان فقط تو تعداد زیادی پیش‌بینی معلوم میشه. اگه از همه‌ی روزهایی که هواشناس گفته ۷۰ درصد، حدود ۷۰ درصدشون بارون اومده باشه، پیش‌بینی‌هاش calibrated هستن (یعنی عددی که می‌گه با نرخ واقعی اتفاق جور درمیاد). ولی این کافی نیست؛ کسی که همیشه میانگین فصل یعنی ۳۰ درصد رو بگه هم calibrated هست ولی هیچ اطلاعات مفیدی نمی‌ده. پس نمره‌ی قابل اعتماد دو تا شرط داره: باید نشون بده پیش‌بینی روی چقدر اطلاعات بنا شده، و باید با نتیجه‌های واقعیِ همون نوع سؤال چک شده باشه. و برای این چک کردن، یکی باید همه‌ی پیش‌بینی‌ها و نتیجه‌ها رو ثبت کنه.
حالا LLM چطوری عدد می‌ده؟ مدل autoregressive هست، یعنی متن رو توکن به توکن و بر اساس توکن‌های قبلی می‌نویسه. وقتی می‌پرسی «چقدر مطمئنی؟»، عدد 0.85 از یه گیج داخلی خونده نمی‌شه؛ فقط یه ادامه‌ی محتمل برای متنه. نویسنده می‌گه مدل تو pretraining فقط روی «توکن بعدی چیه» سنجیده شده، نه روی اینکه عدد اطمینانش با درصد درستی جواب‌هاش بخونه. یعنی مدل یاد گرفته نمره اطمینان تو متن چه شکلیه، نه اینکه نمره‌ش رو با دقتش هماهنگ کنه.
نتیجه‌هاش رو خودت هم می‌تونی ببینی: یه سؤال رو دوباره بپرسی، عدد عوض میشه (مثلاً یه بار 0.85 و یه بار 0.7). جمله‌بندی رو عوض کنی یا بپرسی «مطمئنی؟»، باز عدد جابه‌جا میشه. و اگه مدل قبلش نوشته باشه «این قطعاً جواب درسته»، طبیعتاً عدد بالا میاد. عدد همیشه دقیق به نظر می‌رسه، ولی عدد غلط دقیقاً شبیه عدد درسته.
راه‌حل نویسنده اینه که مثل هواشناس یه قاعده بسازی و LLM فقط کار اصلی (مثلاً نوشتن جواب) رو انجام بده. مثالش یه ایجنت پشتیبانیه که تو help center سرچ می‌کنه و جواب می‌نویسه. اول ویژگی‌های قابل مشاهده رو انتخاب می‌کنی: آیا مقاله‌ی مرتبط پیدا شد؟ چند تا؟ اگه دو بار بپرسی، جواب‌ها با هم می‌خونن؟ بعد از نرخ پایه شروع می‌کنی (مثلاً اگه ۱۵۰ تا از ۲۰۰ جواب قبلی درست بوده، همه از ۷۵ درصد شروع می‌کنن). بعد هر جواب و نتیجه‌ش رو ثبت می‌کنی و قاعده رو از روی گروه‌بندی سابقه آپدیت می‌کنی، و هر هفته جدول calibration رو دوباره می‌سازی.
به گفته‌ی نویسنده، این قاعده همون ویژگی‌هایی رو داره که عدد LLM نداره: اطلاعات یکسان همیشه یه عدد می‌ده، به جمله‌بندی ربط نداره، و روی سؤال‌های خود ما calibrated شده. ولی قاعده فقط به اندازه‌ی سابقه‌ش خوبه؛ اگه کسی درستی جواب‌ها رو چک نکنه، دوباره برمی‌گردیم به عددی که هیچ‌کس اندازه‌ش نگرفته.
نکات کلیدی:
- عدد اطمینان LLM یه ادامه‌ی متنیه، نه خروجی یه اندازه‌گیری داخلی.
- مدل تو pretraining روی پیش‌بینی توکن بعدی سنجیده شده، نه روی هماهنگی نمره اطمینان با دقتش.
- با تکرار سؤال، عوض کردن جمله‌بندی یا متن قبل از عدد، نمره تغییر می‌کنه.
- نمره‌ی قابل اعتماد باید هم به میزان اطلاعات وابسته باشه و هم با نتیجه‌های واقعی calibrated شده باشه.
- راه‌حل: یه قاعده‌ی جدا از LLM که از نرخ پایه شروع میشه و با ثبت نتیجه‌ی هر جواب به‌روز میشه.
