استدلال مدلهای هوش مصنوعی مثل مسیریابیه، نه فکر کردن طولانیتر
خلاصهٔ کاملتر
الکس وانگ تو این مقاله یه سؤال ساده میپرسه: اگه بیشتر فکر کردن مدل رو دقیقتر میکنه، چرا وقتی یه مدل آموزشدیده رو مجبور میکنی زنجیرهٔ فکرش (chain of thought) رو طولانیتر کنه، اول کمی بهتر میشه و بعد ثابت میمونه یا حتی بدتر میشه؟ نویسنده میگه اگه هر زنجیره واقعاً به سمت یه جواب بهینه میرفت، قدمهای بیشتر نباید اونو خراب میکرد.
پیشنهاد نویسنده اینه که استدلال رو مثل مسیریابی تو فضای توکنها ببینیم. یه مسئله رو ده بار بپرسی، ده تا مسیر مختلف میگیری. مثلاً برای جمع 1 تا 10 میشه عددها رو یکییکی جمع کرد، یا جفتجفت (1+10، 2+9 و...) که پنج تا 11 میشه 55. هر دو مسیر درستن. یه verifier (یعنی تابعی که فقط چک میکنه جواب آخر درسته یا نه) تعیین میکنه کدوم مسیرها به مقصد رسیدن. احتمال موفقیت مدل هم جمع احتمال همهٔ مسیرهای موفقه.
دو راه برای بالا بردن این احتمال هست. اولی best-of-k هست، یعنی k تا مسیر بگیری و ببینی یکیش درسته یا نه. این همیشه با نمونهٔ بیشتر بهتر میشه، ولی مقیاسش روی تعداد نمونهست نه طول فکر. راه دوم آموزش خود مدله. نویسنده نشون میده RL با پاداش قابلبررسی (همون روشی که مدلهای استدلالی امروز باهاش آموزش میبینن) تقریباً همون rejection-sampling fine-tuning هست. یعنی مسیرهای موفق رو نگه میداره و مدل رو روشون آموزش میده، فقط ضرب در نرخ موفقیت فعلی.
از همینجا معلوم میشه چرا زنجیرهها حین آموزش بلندتر میشن. اگه مسیرهای موفق معمولاً بلندتر بودن (مثلاً چون برگشت به عقب داشتن یا شانسی)، مدل یاد میگیره مسیر بلندتر بنویسه. نویسنده به این میگه amortization: هزینهٔ جستجو یه بار موقع آموزش پرداخت میشه و تو وزنها میشینه، پس موقع استفاده لازم نیست چند بار نمونه بگیری. ایدهای که تو AlphaZero هم دیده میشه.
این دید دو رفتار عجیب رو هم توضیح میده. اول اینکه زنجیرهٔ فکر لزوماً faithful (یعنی واقعاً توضیحدهندهٔ جواب) نیست، چون پاداش فقط به جواب آخر نگاه میکنه و توکنهای وسط فقط وسیلهٔ رسیدنن. دوم اینکه reward hacking هم از verifier ناقص میاد و هم از نمونهگیری. اگه verifier جواب غلطی رو هم قبول کنه، هر چی RL رو بزرگتر کنی، احتمال پیدا کردن این میانبر و یاد گرفتنش بیشتر میشه.
نتیجهگیری نویسنده اینه که استدلال اصلاً هدفی رو حل نمیکنه. هیچ مسیر تکی تضمینی برای رسیدن به جواب درست نداره و فقط در مجموع، روی توزیع مسیرها، احتمال موفقیت بالاست. سودی که به «طولانیتر فکر کردن» نسبت میدیم، در واقع از جستجویی میاد که موقع آموزش براش هزینه دادیم.
نکات کلیدی:
- آزمایش Muennighoff و همکاران (2025) با اضافه کردن «Wait» نشون داد دقت اول بالا میره و بعد ثابت میشه
- best-of-k احتمال موفقیت رو از p به 1 منهای (1-p) به توان k میرسونه و با k بیشتر همیشه بهتر میشه
- REINFORCE با پاداش صفر و یک معادل rejection-sampling fine-tuning ضرب در نرخ موفقیت M/N هست
- زنجیرهٔ فکر تضمینی برای صادق بودن نداره چون فقط جواب آخر پاداش میگیره
- بزرگتر کردن RL احتمال reward hacking رو بیشتر میکنه چون verifier بیشتر محک میخوره




