‏مدل Ripple-65B Preview؛ مدل open-weight جدید برای agentic coding

شرکت Ricursive Intelligence که روی طراحی چیپ با AI کار می‌کنه، مدل Ripple-65B Preview رو منتشر کرده. این یه نسخهٔ عمومی از مدل اختصاصی‌ایه که پلتفرم طراحی چیپ این شرکت رو اداره می‌کنه. مدل از صفر روی ۱۲ تریلیون توکن آموزش دیده، تا ۱ میلیون توکن context پشتیبانی می‌کنه و روی Hugging Face، Together AI، OpenRouter، Fireworks و GMI Cloud در دسترسه.

به گفتهٔ شرکت، این مدل تو TerminalBench 2.1 (یه benchmark برای کدنویسی agentic، یعنی وقتی مدل خودش تو ترمینال کار انجام می‌ده) امتیاز ۸۰.۵۲ گرفته. این امتیاز از مدل‌های open-weight آمریکایی خیلی بزرگ‌تر مثل Reflection Beam 501B با ۸۰.۱ و Meta Muse Spark Open 816B با ۷۶.۴ بالاتره. Ricursive می‌گه کل هزینهٔ تحقیق و آموزش از صفر ۳۲ میلیون دلار بوده، یعنی حدود یک‌دهم مدل قبلی که رکورد داشت.

برای reinforcement learning (یعنی آموزش مدل با پاداش گرفتن روی انجام درست کارها)، تیم دیتای آماده نخرید و خودش دیتای مصنوعی ساخت. به گفتهٔ اون‌ها با فقط ۱.۴ میلیون rollout به امتیاز ۸۰.۵ رسیدن که حدود ۷۰ برابر کمتر از Reflection Beamه. چند تکنیک مثل truncated importance sampling و linear length penalty هم تو این مرحله استفاده شده.

از نظر معماری، به جای Mixture-of-Experts (یعنی مدلی که برای هر توکن فقط بخشی از پارامترها رو فعال می‌کنه) یه Transformer متراکم (dense) انتخاب کردن تا زیرساخت ساده بمونه. مدل باریک و عمیقه: d_model برابر ۵۱۲۰ و ۸۰ لایه. بهره‌وری سخت‌افزار (MFU) هم بدون kernel سفارشی و quantization حدود ۴۰ درصد موند. چون مدل کوچیکه، روی دستگاه‌های محلی مثل NVIDIA DGX Spark هم خوب اجرا می‌شه.

تیم از model ladder مدل Olmo 3 شروع کرد. model ladder یعنی چند مدل کوچیک‌تر که تغییرات اول روشون تست می‌شه. بعد قدم‌به‌قدم چیزهایی مثل gated attention، global NoPE و value residuals رو اضافه کردن و یه ایده (mHC) رو هم چون تو مقیاس ۴B بهتر نشد کنار گذاشتن. به گفتهٔ شرکت، نتیجه اینه که برای رسیدن به همون کیفیت کد، ladder اون‌ها ۱۶ برابر محاسبهٔ کمتری لازم داره.

نکات کلیدی:

• مدل Ripple-65B Preview یه مدل dense با ۶۵ میلیارد پارامتر و وزن‌های بازه.
• امتیاز TerminalBench 2.1 اون ۸۰.۵۲ه، بالاتر از Reflection Beam 501B با ۸۰.۱.
• کل هزینهٔ تحقیق و آموزش از صفر ۳۲ میلیون دلار اعلام شده.
• مرحلهٔ RL با ۱.۴ میلیون rollout انجام شده، حدود ۷۰ برابر کمتر از Reflection Beam.
• آموزش روی ۱۲ تریلیون توکن با context تا ۱ میلیون توکن انجام شده.
• معماری ۸۰ لایه با d_model برابر ۵۱۲۰ داره و MFU حدود ۴۰ درصد بوده.