‏NeoHorse-1-4B و ادعای قدم اول به سمت خودبهبودی بازگشتی

ایدهٔ اصلی پشت NeoHorse-1-4B یه سیستم به اسم «هارنس مسیریابی» (یعنی چارچوبی که کارا رو بین چند مدل مختلف پخش می‌کنه و نتیجه رو دنبال می‌کنه) هست. به جای آموزش روی یه دیتاست ثابت، این هارنس کارا رو به چند مدل مختلف می‌ده، می‌بینه هر کدوم چطور ابزار صدا می‌زنن و برنامه‌ریزی می‌کنن، و از رو این ردپا می‌فهمه کجای مدل ضعیفه. همون جاهای ضعیف می‌شن محور دور بعدی آموزش.

نویسنده تأکید می‌کنه NeoHorse-1-4B ادعای خودبهبودی خودکار نداره. چیزی که تا الان ساخته شده یه حلقه‌ست: کارا رو مسیریابی کن، نقطه‌ضعف‌ها رو اندازه بگیر، دوباره آموزش بده، و بذار مدل جدید دوباره وارد همون هارنس بشه. طبق مدل‌کارت، ادامه دادن این حلقه در نسل‌های بعدی «قدم بعدیه»، یعنی این نسخه فقط یه دور از چرخه رو نشون داده، نه اثبات اینکه این روند خودش تکرار می‌شه.

تو بنچمارک‌های عامل‌محور، فرق مدل جدید با پایه خیلی چشمگیره: تو WorkBuddy Bench از ۲۴.۶۲ به ۳۴.۴۱ رسیده، تو VitaBench از ۲۱.۵ به ۳۲ (بزرگ‌ترین جهش)، و تو PinchBench از ۷۱.۱۹ به ۷۷.۳۳. میانگین کلی روی ده بنچمارک هم از ۵۸.۹۴ به ۶۴.۸۷ رسیده. اما رو بنچمارک‌های قدیمی‌تر مثل BFCL v4، بهبود خیلی کمتره (فقط ۰.۷۷ نمره)، و مدل‌های رقیب مثل Nanbeige-4.2-3B همچنان جلوترن.

این الگو نشون می‌ده روش هارنس مسیریابی بیشتر رو کارای جدید و عامل‌محور جواب می‌ده، نه رو کارای کلاسیک‌تر که مدل‌های دیگه هم قبلاً روشون تنظیم شدن. برای تیم‌هایی که دنبال یه مدل کوچیک برای ساخت ایجنت هستن، این نتیجه نشون‌دهندهٔ اینه که روش تنظیم چقدر مهمه، نه فقط سایز مدل؛ ولی هنوز فاصلهٔ زیادی تا یه سیستم واقعاً خودبهبودی‌بخش هست.

نکات کلیدی:

• هارنس مسیریابی کارا رو بین چند مدل پخش می‌کنه و از نتیجه برای انتخاب دادهٔ دور بعدی آموزش استفاده می‌کنه
• شرکت فقط یه دور از حلقهٔ خودبهبودی رو نشون داده، نه یه سیستم خودکار چندنسلی
• میانگین ده بنچمارک از ۵۸.۹۴ به ۶۴.۸۷ رسیده؛ بزرگ‌ترین جهش تو VitaBench با ۱۰.۵ نمره بوده
• رو بنچمارک‌های قدیمی‌تر مثل BFCL v4 بهبود خیلی کمتره و رقبا هنوز جلوترن
• مدل با لایسنس Apache 2.0 عرضه شده و کانتکستش تا ~۱ میلیون توکن قابل گسترشه