‏DataPRM: مدل پاداش فرآیندی برای تحلیل داده با هوش مصنوعی

وقتی از هوش مصنوعی می‌خوایم داده تحلیل کنه، چالش‌هایی پیش میاد که در حل مسائل ریاضی وجود ندارن. مدل‌های پاداش فرآیندی یا PRM ها که در ریاضیات عملکرد خوبی دارن، در تحلیل داده‌های پویا ضعف‌های جدی از خودشون نشون می‌دن. محققانی از دانشگاه‌های زجیانگ و مایکروسافت ریسرچ این مشکل رو بررسی کردن و راه‌حلی به اسم DataPRM ارائه دادن.

مشکل اصلی اینه که PRM های عمومی دو نوع خطای خاص تحلیل داده رو نمی‌تونن مدیریت کنن. اول «خطاهای خاموش» (Silent Errors) هستن؛ یعنی کدی که اجرا می‌شه، هیچ exception ای نمی‌ده، ولی نتیجه‌اش کاملاً اشتباهه. مثلاً یه فیلتر داده که منطق معکوس داره، بدون هیچ هشداری اجرا می‌شه ولی خروجی غلط تولید می‌کنه. دوم اینکه این مدل‌ها اکتشاف‌های ضروری و آزمون‌وخطاهای منطقی رو به اشتباه به‌عنوان شکست تلقی می‌کنن و جریمه‌شون می‌کنن.

DataPRM برای حل این دو مشکل طراحی شده. این مدل «آگاه از محیط» (Environment-Aware) هست؛ یعنی می‌تونه به‌صورت فعال با محیط اجرا تعامل کنه، کد میانی رو اجرا کنه و حالت‌های بینابینی رو بررسی کنه تا خطاهای خاموش رو شناسایی کنه. این یه تفاوت اساسی با PRM های سنتیه که فقط متن رو بررسی می‌کنن و به نتایج اجرا کور هستن.

برای مشکل دوم، DataPRM از یه استراتژی پاداش سه‌گانه آگاه از بازتاب استفاده می‌کنه. این استراتژی بین سه حالت تفاوت قائل می‌شه: اقدام صحیح، خطای قابل اصلاح (مثل یه تلاش اکتشافی که به راه‌حل درست منجر می‌شه)، و خطای غیرقابل بازگشت. این تمایز به مدل اجازه می‌ده که بین آزمون‌وخطای ضروری در تحلیل داده و اشتباهات واقعی فرق بذاره.

برای آموزش DataPRM، محققان یه پایپلاین مقیاس‌پذیر طراحی کردن که بیش از ۸ هزار نمونه آموزشی با کیفیت بالا تولید کرده. این نمونه‌ها از طریق تولید مسیرهای متنوع (Diversity-Driven Trajectory Generation) و حاشیه‌نویسی در سطح گام‌ها با کمک دانش تخصصی ساخته شدن. تنوع در داده‌های آموزشی اینجا خیلی اهمیت داره چون تحلیل داده مسائل خیلی متفاوتی داره.

نتایج تجربی قابل توجهن. DataPRM عملکرد مدل‌های پایین‌دستی رو روی ScienceAgentBench تا ۷.۲۱٪ و روی DABStep تا ۱۱.۲۸٪ با استفاده از روش Best-of-N بهبود می‌ده. جالب‌تر اینکه با فقط ۴ میلیارد پارامتر، این مدل از بیس‌لاین‌های قوی‌تر پیشی می‌گیره و در استراتژی‌های مختلف مقیاس‌بندی زمان تست هم خوب عمل می‌کنه.

وقتی DataPRM به یادگیری تقویتی (RL) اضافه می‌شه، نتایج حتی بهتر هم می‌شه. روی DABench به ۷۸.۷۳٪ و روی TableBench به ۶۴.۸۴٪ می‌رسه که نشون می‌ده نظارت پاداش فرآیندی می‌تونه خیلی مؤثرتر از نظارت فقط بر نتیجه نهایی باشه. این یعنی نه‌تنها بدونیم جواب درسته یا نه، بلکه مسیر رسیدن به جواب رو هم ارزیابی کنیم.

نکات کلیدی:

• DataPRM یه مدل پاداش فرآیندی جدیده که برای ایجنت‌های تحلیل داده طراحی شده
• می‌تونه خطاهای خاموش (کدهایی که اجرا می‌شن ولی نتیجه غلط می‌دن) رو شناسایی کنه
• با استراتژی پاداش سه‌گانه، بین اکتشاف مفید و خطای واقعی فرق می‌ذاره
• با ۴ میلیارد پارامتر از مدل‌های بزرگ‌تر رقیب عملکرد بهتری داره
• روی ScienceAgentBench تا ۷.۲۱٪ و روی DABStep تا ۱۱.۲۸٪ بهبود ایجاد می‌کنه
• ترکیب با یادگیری تقویتی نتایج چشمگیری روی DABench (۷۸.۷۳٪) و TableBench (۶۴.۸۴٪) داره
• کد پروژه به‌صورت عمومی در دسترسه