‏Flint: مدل کدنویسی محلی Recursive که روی لپ‌تاپ اجرا می‌شه

Recursive، استارتاپی که دنبال ساخت هوش مصنوعیِ خودبهبوددهنده‌ست، مدل Flint رو معرفی کرده. Flint یه مدل MoE هست (Mixture of Experts، یعنی مدلی که برای هر توکن فقط چند تا از زیرشبکه‌هاش رو فعال می‌کنه). کل مدل ۴۰ میلیارد پارامتر داره ولی برای هر توکن فقط ۲.۵ میلیاردش کار می‌کنه. نتیجه اینه که کیفیت یه مدل بزرگ رو با سرعت یه مدل کوچیک می‌گیری.

به گفته تیم Recursive، Flint بین مدل‌های MoE زیر ۵۰ میلیارد پارامتر تو بنچمارک‌های کدنویسی ایجنتی مثل SWE-Bench Pro v2، Terminal-Bench 2.1 و SWE-Bench Verified اوله. ادعا می‌کنن با مدل‌های dense (یعنی مدل‌هایی که همه پارامترهاشون همیشه فعاله) با ۲۵ تا ۴۰ میلیارد پارامتر رقابت می‌کنه و بیشتر از پنج برابر سریع‌تره. روی MacBook Pro با M4 Pro بیش از ۱۲۵ توکن در ثانیه و روی NVIDIA RTX Spark با ۶۴ گیگ حافظه بیش از ۱۵۰ توکن در ثانیه تولید می‌کنه.

نکته جالب اینه که Flint رو یه تیم کوچیک در کمتر از چهار ماه از صفر ساخته، با کمک سیستمی به اسم Eureka Machine. این سیستم کل چرخه تحقیق رو خودکار می‌کنه: ایده می‌ده، پیاده‌اش می‌کنه، تستش می‌کنه و از نتیجه برای قدم بعدی استفاده می‌کنه. به گفته Recursive، تقریباً تو همه بخش‌ها از داده و روش آموزش تا زیرساخت و بهینه‌سازی اجرا نقش داشته. مثلاً از یه معماری پایه ۳۵ میلیاردی با ۳ میلیارد پارامتر فعال شروع کرده و به همین ترکیب ۴۰ و ۲.۵ رسیده.

تو quantization (یعنی فشرده کردن وزن‌ها با تعداد بیت کمتر برای کم کردن حافظه)، Eureka Machine برخلاف روال معمول لایه خروجی یا lm_head رو هم به ۴ بیت برده. دلیلش اینه که وقتی فقط ۲.۵ میلیارد پارامتر فعاله، این لایه سهم بزرگی از وزن‌هایی‌ه که برای هر توکن خونده می‌شن. برای جبران افت دقت، یه مرحله distillation گذاشته که مدل فشرده از نسخه ۱۶ بیتی یاد می‌گیره. مدل نهایی NVFP4 فقط ۰.۷ امتیاز از نسخه ۱۶ بیتی عقب‌تره. یه megakernel روی Metal هم برای چیپ‌های M4 و M5 ساخته که کل مرحله decode رو یکجا اجرا می‌کنه.

Flint تا ۵۱۲ هزار توکن context پشتیبانی می‌کنه ولی سازنده‌ها پیشنهاد می‌دن زیر ۲۵۶ هزار بمونی. خودشون هم می‌گن برای کارهای پیچیده باید کار رو به تیکه‌های کوچیک‌تر بشکنی و دستور دقیق بدی، چون نسبت به مدل‌های بسته بزرگ راهنمایی بیشتری لازم داره. وزن‌ها روی Hugging Face هست و با llama.cpp، Ollama، LM Studio، vLLM و SGLang کار می‌کنه. یه موتور اجرای سبک به اسم rec هم برای M4 Pro و M5 Pro/Max منتشر کردن.

نکات کلیدی:

• Flint یه مدل MoE با ۴۰ میلیارد پارامتر کل و ۲.۵ میلیارد پارامتر فعال برای هر توکنه.
• روی M4 Pro بیش از ۱۲۵ و روی RTX Spark بیش از ۱۵۰ توکن در ثانیه سرعت داره.
• context تا ۵۱۲ هزار توکن، ولی پیشنهاد سازنده زیر ۲۵۶ هزاره.
• نسخه NVFP4 فقط ۰.۷ امتیاز از نسخه ۱۶ بیتی ضعیف‌تره.
• وزن‌ها با لایسنس Apache 2.0 روی Hugging Face منتشر شده.