‏LaDiR: وقتی دیفیوژن به استدلال LLMها کمک می‌کنه

یکی از محدودیت‌های جدی مدل‌های زبانی بزرگ (LLMs) اینه که وقتی متن تولید می‌کنن، توکن‌ها رو یکی‌یکی و به‌صورت خطی می‌نویسن. این یعنی مدل نمی‌تونه بره عقب و چیزی رو که قبلاً نوشته اصلاح کنه. این رویکرد اتورگرسیو در chain-of-thought (CoT) یا همون زنجیره‌ی تفکر، باعث می‌شه مدل گاهی مسیر استدلالی اشتباه رو ادامه بده بدون اینکه بتونه برگرده و تجدیدنظر کنه.

محققان دانشگاه UC San Diego به همراه همکارانشان، یه روش جدید به اسم LaDiR (مخفف Latent Diffusion Reasoner) معرفی کردن که این مشکل رو حل می‌کنه. ایده‌ی اصلی اینه که فرآیند استدلال رو به یه فضای پنهان (latent space) ببرن و اونجا از قدرت مدل‌های دیفیوژن برای اصلاح تکراری استفاده کنن.

اول از همه، LaDiR یه Variational Autoencoder یا VAE داره که مراحل استدلال متنی رو به بلوک‌هایی از توکن‌های فکر (thought tokens) در فضای پیوسته تبدیل می‌کنه. این نمایش‌های پنهان هم فشرده‌ان و هم اطلاعات معنایی رو حفظ می‌کنن، یعنی می‌شه بعداً دوباره اون‌ها رو به متن قابل‌فهم تبدیل کرد.

بعد از ساختن این فضای استدلال پنهان، یه مدل دیفیوژن روش‌ها رو یاد می‌گیره که چطور توی این فضا نویز رو حذف کنه. جالب‌ترین بخش اینجاست که این مدل دیفیوژن از یه attention mask دوطرفه بلوکی (blockwise bidirectional attention mask) استفاده می‌کنه. این یعنی برعکس مدل‌های اتورگرسیو که فقط به توکن‌های قبلی نگاه می‌کنن، این مدل می‌تونه به‌صورت کل‌نگر به تمام بلوک‌های استدلال توجه کنه و اون‌ها رو با هم اصلاح کنه.

یکی دیگه از مزیت‌های LaDiR اینه که می‌تونه موازی و متنوع باشه. یعنی مدل می‌تونه چندین مسیر استدلالی مختلف رو همزمان بررسی کنه و بهترین‌شون رو انتخاب کنه. این ویژگی هم سرعت رو بالا می‌بره و هم تنوع راه‌حل‌ها رو افزایش می‌ده.

ارزیابی‌ها روی بنچمارک‌های استدلال ریاضی و وظایف برنامه‌ریزی انجام شده. LaDiR از نظر دقت، تنوع جواب‌ها، و قابلیت تفسیر نتایج، از روش‌های اتورگرسیو، دیفیوژن‌محور، و روش‌های استدلال پنهان موجود بهتر عمل کرده. این مقاله در کنفرانس ICLR 2026 منتشر شده.

نکته‌ی مهم اینه که LaDiR یه پارادایم جدید برای استدلال متنی معرفی می‌کنه، نه یه مدل جدید از صفر. این فریم‌ورک می‌تونه روی یه LLM موجود سوار بشه و قابلیت استدلال اون رو ارتقا بده؛ چیزی که از نظر کاربردی خیلی ارزشمنده.

نکات کلیدی:

• LaDiR ترکیبی از VAE و مدل دیفیوژن رو روی یه LLM موجود پیاده می‌کنه
• مشکل اصلی‌ای که حل می‌کنه: ناتوانی مدل‌های اتورگرسیو در بازبینی مراحل قبلی استدلال
• فضای استدلال پنهان هم فشرده‌ست هم قابل تفسیر
• با attention mask دوطرفه، کل فرآیند استدلال رو به‌صورت جامع بررسی می‌کنه
• قادر به تولید موازی مسیرهای استدلالی متنوعه
• روی بنچمارک‌های ریاضی و برنامه‌ریزی از روش‌های قبلی پیشی گرفته
• در ICLR 2026 منتشر شده