‏Flint و امتیازهای SWE-bench: چطور اندازه‌گیری شدن؟

این مقاله سراغ امتیازهای Flint، مدل متن‌باز کدنویسی شرکت Recursive، می‌ره و بیشتر روی این تمرکز می‌کنه که این عددها چطور به دست اومدن. طبق model card، ‏Flint تو SWE-bench Pro v2 ‏۸۹.۷ درصد، تو SWE-bench Verified ‏۷۴.۲ درصد و تو Terminal-Bench 2.1 ‏۵۴.۹ درصد گرفته. مدل ۳۹.۸ میلیارد پارامتر داره ولی برای هر توکن فقط حدود ۲.۵ میلیاردش فعاله؛ برای همین Recursive بهش می‌گه مدل «40B-A2.5B».

به گفتهٔ مقاله، Recursive به‌جای یه اسکریپت دست‌ساز از ابزارهای ارزیابی شناخته‌شده استفاده کرده. برای SWE-bench از mini-swe-agent استفاده شده، یعنی یه agent سبک که issue گیت‌هاب رو می‌خونه، کد رو می‌گرده و patchی می‌سازه که باید تست‌های مخفی رو پاس کنه. برای Terminal-Bench هم Terminus 2 به کار رفته که تسک‌های چندمرحله‌ای خط فرمان رو تو یه ترمینال ایزوله اجرا می‌کنه.

تنظیمات نمونه‌گیری برای همه ثابت بوده: temperature 1.0، top-p 0.95 و top-k 20. چون نتیجهٔ تسک‌های agent از یه اجرا به اجرای دیگه فرق می‌کنه، امتیازها میانگین حداقل پنج تلاش pass@1 هستن. model card هم با یه علامت مشخص کرده کدوم عددها رو خود Recursive اندازه گرفته و کدوم‌ها گزارش خود سازنده‌های مدل‌های رقیبه؛ یعنی همهٔ عددهای جدول با یه روش یکسان سنجیده نشدن.

یه نکتهٔ مهم تو Terminal-Bench اینه که هر راه‌حلی که agent با جست‌وجو تو وب پیدا کرده، شکست حساب شده، حتی اگه کار انجام شده باشه. نویسنده می‌گه همهٔ آزمایشگاه‌ها این قانون رو ندارن و مدلی که اجازهٔ جست‌وجو داشته باشه ممکنه امتیاز بالاتری بگیره بدون اینکه واقعاً تو ترمینال بهتر استدلال کنه. پس ۵۴.۹ درصد Flint یه عدد محافظه‌کارانه‌ست.

از نظر معماری، Flint یه mixture of experts با ۴۹ لایه‌ست (یعنی مدل پر از زیرشبکه‌ست ولی برای هر توکن فقط چندتاش کار می‌کنن): ۲ لایهٔ dense و ۴۷ لایهٔ MoE با ۲۵۶ expert که ۶تاش به‌علاوهٔ یه expert مشترک فعال می‌شن. attention هم ترکیبی از ۳۵ لایهٔ sliding-window با پنجرهٔ ۵۱۳ توکنی (با RoPE) و ۱۴ لایهٔ full-attention بدون positional encoding هست و context به ۲۶۲,۱۴۴ توکن می‌رسه.

نویسنده تأکید می‌کنه که نمودار Recursive، ‏Flint رو با «مدل‌های لوکال» مقایسه می‌کنه که روی یه B300 یا H200 جا می‌شن، نه با مدل‌های بزرگ بسته. به گفتهٔ خود Recursive، مدل هنوز ممکنه کد اشتباه یا tool call خراب تولید کنه و باید تغییرات مهم رو قبل از اعمال بررسی کنی. یعنی بنچمارک فقط نقطهٔ شروعه و بهتره Flint رو با رقیب‌هاش تو شرایط یکسان روی پروژهٔ خودت تست کنی.

نکات کلیدی:

• SWE-bench با mini-swe-agent و Terminal-Bench با Terminus 2 سنجیده شدن.
• امتیازها میانگین حداقل پنج تلاش pass@1 با temperature 1.0، top-p 0.95 و top-k 20 هستن.
• تو Terminal-Bench راه‌حل‌های گرفته‌شده از وب شکست حساب شدن.
• Flint از ۳۹.۸ میلیارد پارامتر، حدود ۲.۵ میلیارد رو برای هر توکن فعال می‌کنه.
• مقایسه‌ها فقط با مدل‌های تک‌GPU انجام شده، نه مدل‌های frontier.
• checkpoint ‏BF16 حدود ۸۰ گیگه و روی یه B300 یا H200 با SGLang اجرا می‌شه.