Cognition مدل کدنویسی SWE-2 Flash رو معرفی کرد
هوش مصنوعیخلاصهٔ کامل‌تر
شرکت Cognition، سازندهٔ ایجنت برنامه‌نویسی Devin، مدل SWE-2 Flash رو معرفی کرده. ایدهٔ اصلی اینه که مدل‌های کوچیک‌تر حالا می‌تونن بخش بزرگی از کارهای روزمرهٔ ایجنت‌ها رو انجام بدن، مثل code review، اضافه کردن فیچر و به‌روز کردن مستندات. این مدل تو Devin Desktop و CLI در دسترسه، با یک‌پنجم قیمت و سه برابر سرعت مدل بزرگ‌تر SWE-2.
پایهٔ این مدل Inkling-Small از Thinking Machines هست، یه مدل با 276 میلیارد پارامتر کل که فقط 12 میلیاردش هم‌زمان فعاله. تفاوت اصلی با نسخه‌های قبلی، اضافه شدن یه مرحلهٔ mid-training قبل از reinforcement learning هست. یعنی قبل از اینکه مدل با پاداش و تنبیه تمرین کنه، روی چند تریلیون توکن دادهٔ باکیفیت مثل مقاله‌های علمی، بلاگ‌ها و کد آموزش بیشتری می‌بینه.
تیم Cognition برای انتخاب ترکیب داده‌ها از نمودارهای token efficiency استفاده کرده. یعنی اندازه گرفتن که هر ترکیب داده چند توکن لازم داره تا به همون validation loss مدل پایه برسه. آموزش هم تو سه مرحله انجام شده تا کمیاب‌ترین و باکیفیت‌ترین داده‌ها آخر کار به مدل برسه. نتیجه‌ش این شده که امتیاز Terminal-Bench 4.0 از 0.9 به 20 درصد و FrontierCode 2.0 از 3.2 به 24 درصد رسیده.
بعد از اون، مرحلهٔ RL اومده. به گفتهٔ شرکت، بیشتر پیشرفت اینجا از کیفیت و تنوع بیشتر تسک‌ها اومده، نه از تغییر خود روش. دستورالعمل‌ها، محیط اجرا و verifierها (یعنی بخشی که درستی جواب مدل رو چک می‌کنه) با دقت بازبینی شدن.
تو بحث امنیت، مدل عمداً روی کارهای سایبری آموزش دیده تا به تیم‌های دفاعی کمک کنه و امتیاز ExploitBench از 11.3 به 34.8 درصد رسیده. ولی Cognition می‌گه همین توانایی‌ها دست مهاجم‌ها هم کار می‌کنه، برای همین وزن‌ها رو فعلاً عمومی نمی‌کنه و داره برنامه‌ای می‌سازه که اونا رو با شرکا و آزمایشگاه‌های تحقیقاتی مورد اعتماد به اشتراک بذاره.
نکات کلیدی:
- SWE-2 Flash یک‌پنجم قیمت و سه برابر سرعت SWE-2 رو داره.
- مدل پایه Inkling-Small با 276 میلیارد پارامتر کل و 12 میلیارد پارامتر فعاله.
- Terminal-Bench 4.0 از 0.9 به 20 درصد و FrontierCode 2.0 از 3.2 به 24 درصد رسیده.
- امتیاز ExploitBench از 11.3 به 34.8 درصد رسیده.
- وزن‌ها عمومی نیست و فقط به شرکای مورد اعتماد داده میشه.
- تا 30 نوامبر تو Devin Desktop و CLI رایگانه.
