مجیک ادعا می‌کنه پیش‌آموزشش ۱۰ برابر کاراتر شده
هوش مصنوعیClaude Sonnet 5خلاصهٔ کامل‌تر
تیم Magic (یه استارتاپ کدنویسی با هوش مصنوعی) میگه دستور پخت (recipe) پیش‌آموزش (pretraining، یعنی مرحله‌ی اول آموزش یه مدل زبانی روی حجم عظیمی متن) خودشونو اینقدر بهینه کردن که الان بیش از ۱۰ برابر کاراتر از بهترین مدل‌های پایه‌ی متن‌بازه. اونا برای رسیدن به سطح DeepSeek V4 Pro Base حدود ۵۰ برابر کمتر FLOPs (واحد اندازه‌گیری محاسبات) مصرف کردن؛ یعنی چیزی حدود نصف هزینه‌ی پیش‌آموزش GPT-3، یا حدود ۵۰۰ هزار دلار روی تراشه‌های GB200. طبق قانون‌های مقیاس‌پذیری (scaling laws) که خودشون اندازه گرفتن، آموزش یه مدل به این توانمندی با روش DeepSeek بیش از ۱۰۰ میلیون دلار هزینه می‌بره.
اونا بعدش مقیاس رو ۱۰ برابر بیشتر کردن (حدود ۴ میلیون دلار هزینه) و از همه‌ی مدل‌های پایه‌ی متن‌باز موجود روی معیار perplexity جلو زدن. به گفته‌ی تیم مجیک، ترکیب پیش‌آموزش قوی، یادگیری تقویتی عاملی (agentic RL) و کانتکست بلند برای ساختن ایجنت‌های کدنویسی فراانسانی و خودکارسازی تحقیق و توسعه‌ی هوش مصنوعی کافیه. اونا قبلا روی کانتکست بلند کار کرده بودن و این پست دربارهٔ پیش‌آموزشه.
برای سنجش، به‌جای امتیاز بنچمارک از bits-per-byte loss (معیاری که تفاوت توکنایزرها رو خنثی می‌کنه) روی داده‌های کنار گذاشته‌شده استفاده کردن و یه قانون مقیاس‌پذیری روش فیت کردن. مدل‌های پایه‌ی DeepSeek، Moonshot (Kimi) و NVIDIA رو ارزیابی کردن و تو این مسیر با باگ‌هایی تو بک‌اندهای استنتاج مثل vLLM روبه‌رو شدن؛ برای اطمینان بیشتر با Fireworks هم همکاری کردن تا لاگ‌پرابابیلیتی‌های پایه رو دوباره چک کنن.
برای هر تغییری تو معماری، بهینه‌ساز، تابع هدف آموزش یا داده، سه مدل تو دو رتبه از مقیاس محاسبات آموزش میدن و اگه روند اون تغییر تو مقیاس بزرگ‌تر هم جواب بده نگهش می‌دارن. هر چند هفته یه بار مقیاس رو تا یک‌دهم بزرگ‌ترین مدلشون بالا می‌برن و هر چند ماه یه بار یه اجرای کامل (نسخه‌های V3، V4، V5) انجام میدن. برای چک کردن اینکه loss پیش‌آموزش چطور به عملکرد بعد از RL ترجمه میشه، یه اجرای کوتاه RL روی ریاضی با بودجه‌ی ۱۶ هزار توکن CoT مستقیم از مدل پایه (بدون SFT یا distillation) زدن و pass@1 روی یه ارزیابی سخت‌تر از AIME به بالای ۹۰٪ رسید، اونم با کمتر از ۰.۲٪ بودجه‌ی محاسباتی پیش‌آموزش.
قدم بعدی تیم مجیک، مقیاس دادن RL بلندمدت (long-horizon) هست، یعنی آموزش ایجنت‌هایی که بعد از دیپلوی هم از طریق کانتکست بلند به یادگیری ادامه بدن، در کنار کار روی روش‌های آلاینمنت (alignment) با پایه‌ی نظری محکم. اونا میگن احتمالا کوچیک‌ترین تیم دنیان که دارن مدل تریلیون‌پارامتری آموزش میدن، و منتظرن به‌زودی محصولشونو منتشر کنن.
نکات کلیدی:
- Magic ادعا می‌کنه پیش‌آموزشش بیش از ۱۰ برابر کاراتر از بهترین مدل‌های پایه‌ی متن‌باز شده.
- رسیدن به سطح DeepSeek V4 Pro Base با حدود ۵۰ برابر کمتر FLOPs و هزینه‌ای حدود ۵۰۰ هزار دلار روی GB200 انجام شده.
- مقیاس دادن ۱۰ برابری بعدی حدود ۴ میلیون دلار هزینه داشته و از همه‌ی مدل‌های پایه‌ی متن‌باز جلو زده.
- طبق قانون‌های مقیاس‌پذیری، رسیدن به این سطح با روش DeepSeek بیش از ۱۰۰ میلیون دلار هزینه می‌بره.
- یه اجرای RL ریاضی مستقیم از مدل پایه، pass@1 بالای ۹۰٪ روی یه ارزیابی سخت‌تر از AIME رو با کمتر از ۰.۲٪ بودجه‌ی پیش‌آموزش نشون داده.
- قدم بعدی تیم، مقیاس دادن RL بلندمدت و کار روی آلاینمنت قبل از انتشار مدلشونه.
