‏Ripple 65B: مدل زبانی باز یه شرکت طراحی چیپ با دستور ساخت کامل

Ripple 65B یه مدل زبانی dense (یعنی همه‌ی پارامترها برای هر توکن فعال می‌شن، برخلاف mixture-of-experts) با ۶۵ میلیارد پارامتره که شرکت Recursive از صفر آموزشش داده. روی ۱۲ تریلیون توکن آموزش دیده و تا یه میلیون توکن context رو پشتیبانی می‌کنه. نسخه‌های base، instruction-tuned، BFloat16 و NVFP4 همه با لایسنس Apache 2.0 قابل دانلودن.

نکته‌ی جالب اینه که Recursive اصلاً شرکت مدل زبانی نیست. بنیان‌گذارهاش روی AlphaChip گوگل کار کردن، یعنی سیستمی که با reinforcement learning چیدمان چیپ رو خودکار می‌کنه. ایده‌شون اینه که با AI چیپ بهتر بسازن و با اون چیپ‌ها AI بهتر. برای پلتفرم طراحی چیپ خودشون یه LLM با کنترل کامل لازم داشتن؛ نسخه‌ی تخصصی چیپ خصوصی می‌مونه و Ripple نسخه‌ی عمومی همون پایه‌ست.

تو Terminal Bench 2.1 (بنچمارک کارهای کدنویسی ایجنتی) امتیاز Ripple شده 80.52؛ بالاتر از یه مدل باز آمریکایی ۵۰۰ میلیارد پارامتری با 80.1 و مدل باز ۸۱۶ میلیارد پارامتری Meta با 76.4. ولی حدود ده مدل باز چینی ۵ تا ۱۰ امتیاز جلوترن، مثل DeepSeek Flash 4.1 با 90.6، Xiaomi MiMo 2.6 Pro با 89.9 و Kimi K3 و GLM 5.3 با حدود ۸۸. برای همین ادعای خود Recursive هم «بهترین مدل open-weight آمریکایی»‌ه. نزدیک‌ترین رقیب هم‌معماریش Qwen 3.8 27B dense با حدود ۷۳ امتیازه. نویسنده یادآوری می‌کنه این اعداد رو خود شرکت‌ها گزارش کردن و تو اجرای مستقل، بعضی مدل‌ها تا حدود ۶۰ و خرده‌ای پایین اومدن.

رقم ۳۲ میلیون دلار کل هزینه‌ی تحقیق و توسعه‌ست: آزمایش‌ها، پایپ‌لاین داده، زیرساخت ارزیابی و کل post-training، نه فقط اجرای نهایی. Recursive تخمین می‌زنه این حدود یک‌دهم هزینه‌ی مدل باز پیشروی قبلیه. دلیل انتخاب dense به‌جای MoE هم سادگیه: آموزش و سرو کردنش برای یه تیم کوچیک راحت‌تره. به گزارش خودشون بدون kernel اختصاصی یا ترفند quantization به حدود ۴۰٪ MFU (یعنی درصد استفاده‌ی واقعی از توان محاسباتی سخت‌افزار) رسیدن.

معماری «باریک و عمیق»‌ه: ۸۰ لایه با تعداد attention head بیشتر از معمول، که هزینه‌ش با لایه‌های sliding window attention جبران شده؛ gated attention و حذف positional encoding روی لایه‌های global هم اضافه شده. برای آموزش از model ladder استفاده کردن، روشی که AI2 تو پروژه‌ی OLMo باز منتشرش کرده: هر تغییر اول روی مدل‌های کوچیک تست می‌شه و فقط اگه جواب داد بزرگ می‌شه. مثلاً hyperconnections تو مقیاس کوچیک خوب بود ولی از ۴ میلیارد پارامتر به بالا فایده‌ای نداشت و کنار گذاشته شد.

تو post-training هم هیچ داده‌ای نخریدن و با داده‌ی مصنوعی و محیط‌های RL خودشون، با حدود ۱.۴ میلیون rollout به این امتیاز رسیدن که به گفته‌ی خودشون حدود ۷۰ برابر کمتر از یه رقیب مشابهه.

نکات کلیدی:

• مدل dense با ۶۵ میلیارد پارامتر، ۱۲ تریلیون توکن آموزش و تا ۱ میلیون توکن context
• لایسنس Apache 2.0 با نسخه‌های base، instruct، BFloat16 و NVFP4
• امتیاز 80.52 در Terminal Bench 2.1؛ مدل‌های باز چینی ۵ تا ۱۰ امتیاز بالاترن
• هزینه‌ی کل تحقیق و توسعه حدود ۳۲ میلیون دلار
• معماری ۸۰ لایه با sliding window attention و حدود ۴۰٪ MFU
• post-training با حدود ۱.۴ میلیون RL rollout و فقط داده‌ی مصنوعی خودساخته