‏PPM؛ روشی تازه برای آموزش هوش مصنوعی توی کارهای طولانی

مدل‌های زبانی حالا کارهایی انجام می‌دن که ممکنه ساعت‌ها یا حتی روزها طول بکشه و میلیون‌ها توکن رد و بدل بشه. برای آموزششون معمولاً از یادگیری تقویتی (RL) استفاده می‌شه، اونم با یه پاداش ساده: در آخر مسیر یا صفر می‌گیره یا یک، بسته به اینکه کار رو کامل انجام داده یا نه.

نویسنده می‌گه این روش برای کارهای کوتاه خوبه، ولی وقتی کار طولانی‌تر می‌شه، مشکل‌دار می‌شه: مدلی که ده‌ها زیرمسئله رو درست حل کرده ولی توی آخرین قدم گیر کرده، دقیقاً همون پاداش صفر مدلی رو می‌گیره که از اول هیچ کاری نکرده. طبق محاسبات نویسنده، هرچی افق زمانی کار بلندتر بشه، این پاداش صفر و یکی به‌صورت نمایی بی‌فایده‌تر می‌شه.

برای حل این مشکل، محققا روش Progressive Point Matching (PPM) رو پیشنهاد دادن. ایده‌ش اینه که مسیر استدلال مدل رو مثل یه مسیر توی یه فضای حالت در نظر بگیریم که از چند «نقطه‌ی استدلال» (reasoning point) رد می‌شه؛ یعنی نتیجه‌های میانی مهم، مثل یه لم اثبات‌شده توی یه مسئله‌ی ریاضی، که بقیه‌ی مسیر بدون نیاز به اثباتش می‌تونه فقط روی خودش حساب باز کنه.

مشکل اینجاست که یه مسیر موفق با استراتژی کاملاً متفاوت از مسیر مرجع، طبق این حساب پیشرفت کمی نشون می‌ده. برای همین یه مکانیزم به اسم «میان‌بر زدن» (shortcutting) اضافه کردن: یه نقطه وقتی رسیده‌شده حساب می‌شه که همه‌ی نقاطی که بهش وابسته‌ان هم رسیده باشن؛ این‌جوری هر مسیر موفق، صرف‌نظر از استراتژیش، امتیاز کامل می‌گیره.

توی آزمایش‌ها، وقتی زیرمسئله‌ها از هم مستقل باشن، سرعت آموزش با PPM نسبت به روش استاندارد GRPO به‌صورت نمایی بهتر می‌شه هرچی تعداد زیرمسئله‌ها بیشتر بشه. روی یه مجموعه مسئله‌ی خیلی سخت ریاضی هم که مدل تقریباً هیچ‌وقت با پاداش صفر و یک جوابش رو پیدا نمی‌کنه (بعد از ۲۴ ساعت حتی یه بچ آموزشی کامل هم جمع نشده بود)، PPM به‌وضوح بهتر از بقیه روش‌ها عمل کرده.

جالب اینکه آموزش با طول ۴هزار توکن نتیجه‌ی بهتری از طول ۸هزار توکن داده؛ چون مدلی که با بودجه‌ی ۸هزار تایی آموزش دیده، یاد گرفته زود حدس بزنه و جواب بده، ولی مدل ۴هزار تایی چون اصلاً نمی‌تونسته توی اون بودجه به جواب برسه، مجبور شده روی پیشرفت جزئی تمرکز کنه.

نکات کلیدی:

• روش پاداش استاندارد (صفر یا یک در پایان مسیر) برای کارهای خیلی طولانی به‌صورت نمایی ناکارآمد می‌شه
• PPM با تقسیم مسیر استدلال به «نقاط استدلال» و مکانیزم «میان‌بر زدن»، بدون تعصب به پیشرفت واقعی پاداش می‌ده
• روی زیرمسئله‌های مستقل، سرعت آموزش نسبت به GRPO به‌صورت نمایی بهبود پیدا می‌کنه
• روی مسائل خیلی سخت ریاضی، آموزش با بودجه‌ی ۴هزار توکنی از ۸هزار توکنی بهتر بوده، چون جلوی حدس زدن زودهنگام رو می‌گیره
• مقاله‌ی کامل با جزئیات نظری و آزمایش‌ها توی arXiv با شناسه ۲۶۰۹.۰۷۳۰۳ منتشر شده