بنچمارک‌های Ripple-65B: قوی تو کدنویسی، ضعیف تو ریاضی
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Ripple-65B یه مدل ۶۵ میلیارد پارامتری از تیم کوچیک Recursive Intelligence هست که از صفر آموزش دیده و با لایسنس Apache 2.0 به‌صورت پیش‌نمایش منتشر شده. این مقاله بیشتر روی نتایج بنچمارک‌ها و دلیل انتخاب‌های معماریش تمرکز داره.
مهم‌ترین ادعا تو کدنویسیه. طبق نمودارهای Recursive Intelligence، این مدل تو یه بنچمارک agentic مبتنی بر ترمینال و یه بنچمارک سخت‌تر مهندسی نرم‌افزار اول شده و مدل‌های خیلی بزرگ‌تر رو پشت سر گذاشته. یعنی کارهایی که مدل باید تو یه حلقه کد بنویسه، اجرا کنه و درستش کنه. تو بنچمارک «deep software UI» جزو گروه بالاست، ولی مدل Meta اونجا واضحاً جلوتره.
ضعف‌هاش هم مشخصن: ریاضی، ایمنی و اتوماسیون، که مدل‌های Meta و Reflection اونجا جلوترن. به گفته مقاله، این با روش آموزش جور درمیاد. post-training این نسخه سبک بوده و همه‌ش رفته سمت کدنویسی agentic، در حالی که ریاضی و ایمنی معمولاً به tuning سنگین و RLHF نیاز دارن. نتیجه‌گیری نویسنده اینه که Ripple یه مدل متخصصه، نه همه‌کاره.
چرا dense؟ بیشتر لب‌های بزرگ رفتن سمت MoE (یعنی برای هر توکن فقط یه بخش از پارامترها فعال میشه تا اجرا ارزون‌تر بشه). تو Ripple همه پارامترها برای هر توکن کار می‌کنن. دلیل تیم عملیه: MoE مشکلاتی مثل routing، load balancing و ناپایداری آموزش داره که ابزار و تجربه زیادی می‌خواد. مدل dense این پیچیدگی رو نداره و یه تیم کوچیک راحت‌تر می‌تونه آموزشش بده، به قیمت اینکه اجراش یه کم گرون‌تره.
معماری «باریک و عمیقه»: ۸۰ لایه با عرض کم، چیدمان به سبک Gemma، attention headهای بیشتر و لایه‌های sliding window attention با پنجره کوچیک (یعنی هر توکن فقط یه بازه محدود از متن قبلی رو می‌بینه) تا هزینه محاسبه کنترل بشه. gated attention و value residual هم داره. شرطی که تیم بسته اینه که عمق، نه عرض، راه بهتریه برای گرفتن قدرت استدلال از یه بودجه پارامتر ثابت.
پیش‌آموزش روی ۱۲ تریلیون توکن متن انگلیسی و کد بوده و داده مصنوعی برای مراحل بعدی نگه داشته شده. بعدش mid-training، مرحله long-context، SFT، یه دور دیگه long-context و در آخر reinforcement learning اومده. برای اجرای محلی، مدل روی سیستم‌هایی مثل DGX Spark جا میشه و یه تست مستقل با نسخه quantizeشده حدود ۷۵ گیگ VRAM مصرف کرد. البته کد inference برای GPUهای دیگه نیاز به تغییر داشت و راه‌اندازی چند ساعت طول کشید.
نکات کلیدی:
- Ripple-65B تو بنچمارک ترمینال و مهندسی نرم‌افزار از مدل‌های بزرگ‌تر جلو زده.
- تو بنچمارک deep software UI مدل Meta ازش جلوتره.
- تو ریاضی، ایمنی و اتوماسیون از مدل‌های Meta و Reflection عقب‌تره.
- معماری ۸۰ لایه داره و پیش‌آموزشش روی ۱۲ تریلیون توکن بوده.
- نسخه quantizeشده حدود ۷۵ گیگ VRAM مصرف می‌کنه و لایسنسش Apache 2.0 هست.
