مشکل مدلهای زبانی حافظه نیست، دسترسی به حافظهست
هوش مصنوعی
گوگلخلاصهٔ کاملتر
وقتی یه مدل زبانی یه واقعیت رو اشتباه جواب میده، معلوم نیست اصلاً اون رو یاد نگرفته یا یاد گرفته و نمیتونه بازیابیش کنه. Nitay Calderon و Gal Yona از Google Research میگن معیارهای معمولِ دقت این دو حالت رو قاطی میکنن، در حالی که درمانشون فرق داره: نبودِ دانش با بزرگتر کردن مدل و داده جبران میشه، ولی دسترسینداشتن به دانش با روشهای post-training و زمان اجرا.
چارچوبی که معرفی کردن اسمش knowledge profiling ـه و واحد تحلیل رو از «سؤال» میبره روی «واقعیت». سه چیز رو جدا میسنجه: encoding یعنی مدل بتونه فکت رو تو متنی شبیه دادههای پیشآموزش بازتولید کنه، recall یعنی بدون هیچ سرنخی جوابش رو بده، و recognition یعنی بین چند گزینه درست رو تشخیص بده. برای این کار WikiProfile رو ساختن: ۲۱۵۰ واقعیت از ویکیپدیا، هر کدوم با ۱۰ سؤال.
نتیجه اصلی اینه که تو مدلهای نسل جدید encoding تقریباً اشباع شده ولی recall نه. طبق مقاله Gemini-3-Pro و GPT-5 بین ۹۵ تا ۹۸ درصد فکتها رو ذخیره کردن، ولی ۲۶ تا ۳۴ درصدشون رو مستقیم به یاد نمیارن و حتی با thinking هم روی ۱۱ تا ۱۲ درصد جا میمونن. تو خانواده Gemma 3 هم هرچی مدل بزرگتر شده خطای encoding افت کرده، ولی خطای recall سرجاش مونده و سهم بیشتری از خطاها رو گرفته.
نویسندهها دو نقطهضعف مشخص رو نشون میدن: فکتهای کمتکرار تقریباً هماندازه فکتهای پرتکرار ذخیره شدن ولی فاصلهشون تو بازیابی خیلی بیشتره، و reversal curse — یعنی مدل میدونه «A همون B هست» ولی جواب سؤال برعکس رو نمیده — تو حالت چندگزینهای اصلاً سختتر نیست. thinking دقیقاً همینجاها بیشترین کمک رو میکنه و ۴۰ تا ۶۵ درصد فکتهای ذخیرهشده ولی دسترسناپذیر رو برمیگردونه، هرچند هزینه محاسباتی داره.
نکات کلیدی:
- WikiProfile یه بنچمارک ۲۱۵۰ واقعیتیه که هر واقعیت رو با ۱۰ سؤال برای encoding، recall و recognition میسنجه
- تو Gemini-3-Pro و GPT-5 حدود ۹۵ تا ۹۸ درصد فکتها ذخیره شده، ولی ۲۶ تا ۳۴ درصد مستقیم بازیابی نمیشه
- thinking تو مدلهای thinking-optimized ۴۰ تا ۶۵ درصد فکتهای ذخیرهشده رو نجات میده، ولی روی فکتهای ذخیرهنشده فقط ۵ تا ۱۵ درصد
- reversal curse یه مشکل recall ـه، نه نبودِ دانش دوطرفه
- ارزیابی روی ۱۳ مدل، با و بدون thinking، و حدود ۴.۵ میلیون پاسخ انجام شده
