آموزش بازگشتی: وقتی مدل از تصمیمهای خودش درس میگیره
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
روش recursive self-improvement یعنی یه مدل بهجای آموزش از یه دیتاست ثابت و ازپیشآماده، از لاگ استفادهی واقعی خودش درس بگیره. نمونهش NeoHorse-1-4B هست، مدل ۴ میلیاردی TokenRhythm روی پایهی Qwen3.5، که از لاگ یه سیستم routing (زیرساختی که تصمیم میگیره کدوم درخواست بره سراغ کدوم مدل) آموزش دیده.
به گفتهی TokenRhythm، این لاگها یه سند واقعی از کارهای واقعی و نتیجهی واقعیه، که به کاربرد واقعی مدل نزدیکتره تا یه دیتاست ساختگی انسانی. دادهها هم از ساده به سخت مرتب میشن تا مدل رفتهرفته قویتر بشه، مثل یادگیری تدریجی یه آدم.
قسمت دوم آموزش، یه مدل معلم قویتره که بهجای فقط نشون دادن جواب درست بعد از تموم شدن کار، حین تلاش NeoHorse زنده تصحیحش میکنه؛ یعنی مثل یه مربی که وسط حل مسئله راهنمایی میکنه، نه بعد از تحویل جواب.
بخش «بازگشتی» ماجرا اینجاست: مدل بهبودیافته بعد از استقرار، لاگهای جدید تولید میکنه و اون لاگها دیتای آموزش نسخهی بعدی میشن. طبق توضیح TokenRhythm این چرخه فعلا فقط بین نسخههای آموزشیه، نه حین inference؛ یعنی مدل وسط جواب دادن به شما خودشو بازنویسی نمیکنه.
تو تست agentic coding، مدل یه باگ «false all clear» رو تو یه داشبورد هشدار سیل بدون هیچ راهنمایی پیدا و درست کرد، با استدلال طولانی و رد کردن فرضیههای غلط خودش. اما تو تست خلاقانهنویسی، با اینکه از نظر سبک قوی بود، تو حفظ جزئیاتی مثل کشور و رابطهی خانوادگی شخصیتها دچار ناپایداری شد.
نویسنده میگه نکتهی جالب این مدل، رتبهش تو بنچمارک نیست، فلسفهی آموزششه: یادگیری از دیتای واقعی بهجای دیتاست ثابت. ولی هنوز مشخص نیست این روش تو بلندمدت و برای رفع ضعفهای دیگه هم جواب میده یا نه؛ یه تست کدنویسی موفق، تضمین کیفیت یکدست تو همهی کارها نیست.
نکات کلیدی:
- recursive self-improvement یعنی آموزش از لاگ واقعی بهجای دیتاست ثابت
- دادهها از ساده به سخت مرتب میشن تا مدل تدریجی قوی بشه
- یه مدل معلم حین کار مدل رو زنده تصحیح میکنه، نه بعد از اتمام
- چرخهی بازگشتی فقط بین نسخههای آموزشیه، نه حین اجرای مدل
- تو agentic coding قوی بود، تو خلاقانهنویسی پیوستگی ضعیف داشت
