‏امتیازهای Flint تو بنچمارک‌های کدنویسی

Flint یه مدل متن‌باز از شرکت Recursive هست که مخصوص _coding agent_ها (یعنی ابزارهایی که خودشون باگ رفع می‌کنن، فیچر می‌نویسن و تست می‌سازن) ساخته شده. طبق ارزیابی‌های خود Recursive، این مدل تو SWE-bench Verified ‏۷۴.۲ درصد، تو SWE-bench Pro v2 ‏۸۹.۷ درصد و تو Terminal-Bench 2.1 ‏۵۴.۹ درصد گرفته. تنظیمات نمونه‌گیری temperature 1.0، top-p 0.95 و top-k 20 بوده و امتیازها میانگین حداقل پنج تلاش (pass@1) هستن.

SWE-bench به مدل یه issue واقعی از GitHub و کد پروژه رو می‌ده و مدل باید patchی بنویسه که تست‌ها رو پاس کنه. نسخهٔ Verified یه زیرمجموعهٔ دست‌چین‌شده‌ست که تسک‌های مبهم ازش حذف شدن؛ یعنی Flint تقریباً سه تا از هر چهار issue رو با harness ‏mini-swe-agent حل کرده. نویسنده تأکید می‌کنه که ۸۹.۷ درصد Pro v2 با ۷۴.۲ درصد Verified قابل مقایسه نیست، چون این دو نسخه ترکیب و سختی تسک‌های متفاوتی دارن.

Terminal-Bench می‌سنجه مدل چقدر می‌تونه تو ترمینال کار کنه: دستور اجرا کنه، خطا بخونه و قدم بعدی رو تصمیم بگیره. Flint این امتیاز رو با harness ‏Terminus 2 گرفته. نکتهٔ مهم اینه که Recursive هر راه‌حلی که از جست‌وجوی وب به دست اومده رو شکست حساب کرده، حتی اگه جواب درست باشه. به گفتهٔ مقاله این معیار سخت‌تر از چیزیه که بعضی آزمایشگاه‌ها گزارش می‌دن، پس موقع مقایسه باید حواست باشه.

از نظر معماری، Flint یه transformer از نوع mixture of experts با ۴۹ لایه‌ست: دو لایهٔ dense و ۴۷ لایهٔ MoE. هر لایهٔ MoE ‏۲۵۶ expert داره که برای هر توکن ۶تاش به‌علاوهٔ یه expert مشترک فعال می‌شه؛ برای همین از ۳۹.۸ میلیارد پارامتر فقط حدود ۲.۵ میلیارد برای هر توکن کار می‌کنن. یعنی مدل دانش زیادی داره ولی هزینهٔ تولید هر توکن پایینه.

بخش attention ترکیبی از ۳۵ لایهٔ sliding-window (هر توکن فقط ۵۱۲ توکن قبلی رو می‌بینه) و ۱۴ لایهٔ full-attention هست. پنجرهٔ context ‏۲۶۲,۱۴۴ توکنه که بین prompt و خروجی تقسیم می‌شه. مدل از per-head QK RMSNorm و attention sink هم استفاده می‌کنه که به پایداری تو contextهای بلند کمک می‌کنه؛ چیزی که تو تسک‌های چندمرحله‌ای ترمینال مهمه.

برای اجرا، Flint یه GPU از نوع B300 یا H200 برای هر replica لازم داره و با کیت SGLang سرو می‌شه؛ checkpoint ‏BF16 هم حدود ۸۰ گیگه. نسخه‌های کوانتیزه برای NVIDIA و Apple Silicon جدا آماده شدن ولی هنوز کد Transformers منتشر نشده. Recursive توصیه می‌کنه برای مسئله‌های سخت حداقل ۳۲,۷۶۸ توکن خروجی در نظر بگیری و نویسنده می‌گه بهتره خودت مدل رو روی runtime و دقت مورد نظرت ارزیابی کنی.

نکات کلیدی:

• Flint تو SWE-bench Verified ‏۷۴.۲، تو SWE-bench Pro v2 ‏۸۹.۷ و تو Terminal-Bench 2.1 ‏۵۴.۹ درصد گرفته.
• مدل ۳۹.۸ میلیارد پارامتر کل و حدود ۲.۵ میلیارد پارامتر فعال برای هر توکن داره.
• تو Terminal-Bench راه‌حل‌هایی که از وب اومدن شکست حساب شدن.
• پنجرهٔ context ‏۲۶۲,۱۴۴ توکنه و حداقل خروجی پیشنهادی ۳۲,۷۶۸ توکن.
• اجرا روی یه B300 یا H200 با SGLang؛ checkpoint ‏BF16 حدود ۸۰ گیگ.
• لایسنس Apache 2.0 اجازهٔ استفادهٔ تجاری و fine-tune می‌ده.