Astra واقعاً وزن‌های Qwen رو خوند و درست کرد؟
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
نویسنده این ماجرا رو به شعبده‌بازهایی تشبیه می‌کنه که یه ترفند رو هر بار با یه روش متفاوت اجرا می‌کنن تا تماشاگر نتونه بفهمه چطوری کار می‌کنه. به گفته‌ی اون، پست Astra can read and write weights to improve Qwen هم دقیقاً همین‌جوری چیده شده: چند آزمایش با تکنیک‌های مختلف کنار هم اومدن و خواننده فکر می‌کنه همه‌شون با یه روش انجام شدن.
خلاصه‌ی اون پست می‌گه GPT-6 Astra «فقط با نگاه به وزن‌های خام» می‌فهمه یه شبکه برای چی آموزش دیده. بعد هم ادعا می‌کنه بدون gradient (یعنی بدون روش معمول آموزش که وزن‌ها رو قدم‌به‌قدم تنظیم می‌کنه) مشکل حلقه‌های استدلالی Qwen3.5-0.8B رو پیدا کرده و با ویرایش 0.016% از وزن‌ها، امتیاز MATH-500 رو از 7.9% به 48.1% رسونده. امتیاز IFEval هم حدوداً سه برابر شده.
نویسنده می‌گه حالت «فقط نگاه به وزن‌های خام» (یعنی عددهای خام تو context، بدون ابزار و بدون اجرای شبکه) فقط تو آزمایش‌های 1، 2 و 4 هست. این آزمایش‌ها هم روی شبکه‌های خیلی کوچیک با 17 تا 172 هزار وزن انجام شدن. هر آزمایشی که با یه مدل زبانی واقعی سروکار داره از Python استفاده می‌کنه. نتیجه‌ی اصلی، یعنی همون Qwen، حتی اجازه داشته مدل رو روی حداکثر 50 دسته مسئله‌ی تمرینی اجرا کنه.
به نظر نویسنده، چیزی که آزمایش Qwen واقعاً نشون می‌ده اینه که Astra می‌تونه کارهایی رو طراحی و اجرا کنه که یه مهندس ML انسانی هم انجام می‌ده. مهندس‌ها همیشه کد کوچیک می‌نویسن تا وزن‌های شبکه رو تحلیل یا «مستقیم» عوض کنن. نویسنده قبول داره این کم چیزی نیست و مدل‌های یکی دو سال پیش از پسش برنمی‌اومدن.
ولی حرف اصلیش اینه که این آزمایش‌ها نباید تو یه مقاله کنار هم بیان. اگه یه تکنیک واحد هم می‌تونست وزن یه بازی کوچیک رو از صفر بنویسه و هم یه مدل بزرگ رو بهتر کنه، یعنی مدل یه درک عمیق و کلی از وزن‌ها داره. اما اینجا دو تا تکنیک کاملاً جداست، پس چنین نتیجه‌ای ازش درنمیاد.
نکات کلیدی:
- ادعای اصلی: بالا رفتن MATH-500 مدل Qwen3.5-0.8B از 7.9% به 48.1% با ویرایش 0.016% از وزن‌ها
- آزمایش‌های «فقط خوندن وزن خام» فقط روی شبکه‌های 17 تا 172 هزار وزنی انجام شدن
- همه‌ی آزمایش‌های مدل زبانی واقعی با کد Python انجام شدن، نه فقط نگاه به وزن‌ها
- آزمایش Qwen اجازه‌ی اجرای مدل روی حداکثر 50 دسته مسئله‌ی تمرینی رو داشته
- نقد اصلی: کنار هم گذاشتن دو تکنیک جدا، یه توانایی عمیق‌تر از واقعیت رو القا می‌کنه
