مدلهای زبانی میتونن پشت نقطهها چندمرحلهای فکر کنن
خلاصهٔ کاملتر
این پست تو LessWrong یه بهروزرسانی پژوهشیه دربارهٔ filler-token reasoning، یعنی وقتی مدل از توکنهای اضافه (مثلاً یه رشته نقطه) برای فکرکردن استفاده میکنه بدون اینکه خود اون توکنها چیزی بگن. این شدنیه چون attention میتونه اطلاعات رو بین جایگاههای توکن جابهجا کنه. مقالهٔ معروف «Let's Think Dot by Dot» قبلاً نشون داده بود این کار برای مسئلههای کاملاً موازی (کلاس TC⁰) جواب میده، ولی برای استدلال سریالی، یعنی وقتی هر مرحله به قبلی وابستهست، نه.
نویسندهها روش آموزش رو عوض کردن. بهجای اینکه مدل بعد از مسئله نقطه تولید کنه، نقطهها رو ورودی دادن و تو هر جایگاه نقطه، هدف آموزش یه مرحله از استدلال بوده. یعنی مدل دیگه یه پیشبینیکنندهٔ توکن بعدی معمولی نیست و باید زنجیرهٔ فکرش با نقطه پر بشه. این کارو با LoRA رتبهٔ ۳۲ روی دو مدل Qwen3.6-35B-A3B و gpt-oss-20b انجام دادن، هم با curriculum (طول مسئله کمکم زیاد میشه) هم با آموزش مستقیم روی طول کامل.
هفت تسک مصنوعی ساختن، مثل جمع پیمانهای، دنبالکردن توپ زیر پنج لیوان (گروه A5)، وضعیت سه لامپ (گروه GL(3,2))، ترکیب جدولهای lookup و استدلال منطقی با قانونهای «هر A یه B هست» (ProntoQA و HornQA). روی جمع پیمانهای و GL(3,2)، روش اونا بهتر از روش قبلی و بهتر از مدلی که مستقیم جواب میده عمل کرد. در کل سه تا از هفت تسک یاد گرفته شد.
برای اینکه مطمئن بشن این تسکها واقعاً چندمرحلهایان، با کمک گروههایی از ایجنتهای Opus 5.5 الگوریتمهایی ساختن که یه ترنسفورمر با دقت محدود میتونه اجرا کنه، و شمردن چند لایه لازم دارن. برای همهٔ تسکها عمق لازم با طول مسئله زیاد میشه، پس هیچکدوم کاملاً موازی نیستن. ولی جز HornQA، عمق خیلی کندتر از تعداد مراحل رشد میکنه. یعنی مدل میتونه مراحلی بیشتر از تعداد لایههاش انجام بده.
تو عمل، تئوری و آزمایش همیشه با هم نمیخوندن. HornQA زود شکست خورد و جمع پیمانهای خیلی راحت یاد گرفته شد، ولی حساب پیمانهای و ترکیب تابع که از نظر تئوری ساده بودن، بعد از ۱ تا ۳ مرحله به دیوار خوردن. به گفتهٔ نویسندهها، الگو اینه که هر وقت باید بستههای بزرگ اطلاعات (مثل جدول یا premise) بین جایگاهها جابهجا بشه، مدل مشکل پیدا میکنه. با این حال حتی مدلهای کوچیک تا حدود ۶۰ مرحله رو روی نقطه یاد گرفتن.
نویسندهها معتقدن این یافته برای ایمنی هوش مصنوعی مهمه. اگه مدلها بتونن بدون نوشتن استدلالشون فکر کنن، نظارت روی chain of thought سختتر میشه، حتی بدون استگانوگرافی (یعنی پنهانکردن استدلال تو متنی که بیربط به نظر میاد). البته خودشون میگن روش آموزششون غیرمعمول بوده و آزمایشها کوچیک بودن، و به بقیهٔ پژوهشگرا توصیه میکنن تسکهاشون رو با همین تست بسنجن.
نکات کلیدی:
- آموزش با LoRA رتبهٔ ۳۲ روی Qwen3.6-35B-A3B و gpt-oss-20b انجام شده
- سه تا از هفت تسک چندمرحلهای روی توکنهای نقطه یاد گرفته شد
- جمع پیمانهای که تو پژوهشهای قبلی استگانوگرافی استفاده شده، خیلی راحت روی filler token یاد گرفته میشه
- حساب پیمانهای و ترکیب تابع بعد از ۱ تا ۳ مرحله شکست خوردن
- حتی مدلهای کوچیک تا حدود ۶۰ مرحله رو روی نقطه انجام دادن




