تست Ripple-65B روی سیستم شخصی: یه مدل dense که باگ پنهان رو پیدا کرد
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Ripple-65B یه مدل ۶۵ میلیارد پارامتری از تیم کوچیک Recursive Intelligence هست که به‌صورت پیش‌نمایش و با لایسنس Apache 2.0 منتشر شده. فرق اصلیش اینه که dense هست، یعنی هر ۶۵ میلیارد پارامتر برای هر توکن کار می‌کنن. بیشتر مدل‌های بزرگ امروزی MoE هستن (یعنی برای هر توکن فقط یه بخشی از پارامترها فعال میشه تا اجرا ارزون‌تر بشه). Ripple برای کدنویسی agentic و استدلال ساخته شده و بعد از quantize شدن روی یه سیستم مثل Nvidia DGX Spark جا میشه.
معماریش «باریک و عمیقه»: ۸۰ لایه با عرض کم، چیدمانی به سبک Gemma برای پایداری آموزش، attention headهای بیشتر و sliding window attention (یعنی هر توکن فقط به یه پنجره محدود از توکن‌های قبلی نگاه می‌کنه) برای کم کردن هزینه محاسبه. gated attention و value residual هم اضافه شده. پیش‌آموزش روی ۱۲ تریلیون توکن متن انگلیسی و کد بوده و داده مصنوعی عمداً برای مراحل بعد نگه داشته شده. post-training این نسخه هنوز سبکه.
تو بنچمارک‌ها، Ripple تو کدنویسی agentic مبتنی بر ترمینال و تست‌های شبیه SWE-bench از مدل‌های خیلی بزرگ‌تر جلو زده. ولی تو ریاضی، ایمنی و اتوماسیون از مدل‌های Meta و Reflection عقب‌تره.
بخش جالب مقاله تست دستیه. یه اپ ماشین‌حساب بازنشستگی full-stack داخل Docker رو با یه باگ ریز آماده کردن: نرخ برداشت به‌جای 0.04 به شکل 4 ذخیره شده بود و همه نتیجه‌ها حدود صد برابر کوچیک‌تر درمی‌اومدن، بدون اینکه اپ کرش کنه. تست از طریق APIهای میزبانی‌شده به خطای محدودیت توکن خورد، پس تست‌کننده رفت سراغ یه VM با ۹۶ گیگ VRAM. نسخه quantizeشده حدود ۷۵ گیگ VRAM مصرف کرد.
راه‌اندازی ساده نبود. کد inference رسمی برای یه GPU دیگه نوشته شده بود و باید برای کارت RTX Pro 6000 Blackwell بازنویسی می‌شد. یه لایه سرو و فریم‌ورک agent به اسم Hermes هم لازم بود و کل کار چند ساعت طول کشید. ولی بعدش مدل خودش و بدون راهنمایی باگ رو پیدا کرد، علتش رو توضیح داد و درستش کرد. تو یه تست SQL روی Databricks با آرایه و struct تودرتو هم دچار دوبار شمردن درآمد نشد و percent_rank و qualify رو درست به کار برد.
نکات کلیدی:
- Ripple-65B مدل dense با ۶۵ میلیارد پارامتر و لایسنس Apache 2.0 هست.
- معماری ۸۰ لایه با sliding window attention و چیدمان به سبک Gemma داره.
- پیش‌آموزش روی ۱۲ تریلیون توکن انجام شده.
- نسخه quantizeشده حدود ۷۵ گیگ VRAM لازم داره.
- کد inference رسمی برای GPUهای دیگه باید دستی بازنویسی بشه.
- تو ریاضی، ایمنی و اتوماسیون ضعیف‌تر از رقیب‌هاست.
