‏LFM2.5-24B-A2B در برابر Qwen3.6 تو بنچمارک‌های ایجنتی

LFM2.5-24B-A2B یه مدل mixture-of-experts از Liquid AI هست، یعنی برای هر توکن فقط چند بخش از مدل کار می‌کنن. ۲۴ میلیارد پارامتر کل داره ولی فقط حدود ۲.۴۵ میلیاردش برای هر توکن فعال می‌شه. تو این مقاله اومده که اهمیتش اینه: بیشتر بنچمارک‌های ایجنتی امروز با بزرگ کردن مدل برده می‌شن، ولی این مدل نشون می‌ده آموزش و مسیریابی بهتر هم می‌تونه همین کارو بکنه.

مقایسهٔ اصلی با Qwen3.6-35B-A3B هست که هم پارامتر کل بیشتری داره (۳۵ در برابر ۲۴ میلیارد) و هم پارامتر فعال بیشتر. تو LiveClaw، بنچمارکی که کار با ابزار و تسک‌های ایجنتی رو می‌سنجه، LFM2.5 امتیاز ۴۸.۰۹ گرفته و Qwen امتیاز ۳۸.۱۹. نویسنده تأکید می‌کنه این ادعا محدود به همین نوع کارهاست، نه اینکه تو همه چیز از Qwen بهتر باشه. برای مقایسه با Gemma هم هیچ عددی منتشر نشده.

بنچمارک‌هایی مثل LiveClaw و AutomationBench به‌جای سؤال چندگزینه‌ای، چک می‌کنن مدل می‌تونه schema ابزار رو بفهمه، function call درست بسازه، نتیجه رو تفسیر کنه و جواب نهایی منطقی بده. به گفتهٔ نویسنده، این برای سازنده‌ها از MMLU مهم‌تره، چون یه مدل می‌تونه تو تست دانش خوب باشه ولی آرگومان ابزار رو از خودش دربیاره یا وضعیت رو بین نوبت‌ها گم کنه.

معماری مثل نسخهٔ قبلیه: ۴۰ لایه شامل ۳۰ بلوک کانولوشن کوتاه double-gated و ۱۰ بلوک grouped-query attention، با ۶۴ متخصص و مسیریابی top-4. context از ۳۲ هزار به ۱۳۱٬۰۷۲ توکن رسیده و vocabulary از ۶۵ هزار به ۱۲۸ هزار توکن. داده‌های pre-training از حدود ۱۷ به ۳۳ تریلیون توکن رسیده و کل آموزش ۳۶ تریلیونه. ۳۰۰ میلیارد توکنش هم مخصوص آموزش context طولانی بوده.

مهم‌ترین بخش، reinforcement learning داخل ایجنت‌های واقعی مثل OpenClaw، Hermes Agent، Pi و OpenCode هست. یعنی مدل تو حلقهٔ واقعی ایجنت تمرین کرده و system promptها و قالب tool call هر کدوم رو یاد گرفته. یه تغییر دیگه هم اینه که حالا مدل استدلالی خالصه و همیشه قبل از جواب یه بلوک think می‌سازه. چون پارامتر فعال کمه، هزینهٔ این توکن‌های اضافه پایین می‌مونه، ولی حتی جواب‌های ساده هم این سربار رو دارن.

سرعت گزارش‌شده ۱۸۴ توکن در ثانیه روی Apple M5 Max و تا ۲۱ هزار توکن در ثانیه روی یه GPU انویدیا B300 هست، با ادعای حداکثر ۱.۷ برابر سریع‌تر از MoEهای مشابه. خود Liquid می‌گه برای کارهای وابسته به دانش باید با retrieval یا جست‌وجوی وب ترکیبش کرد. یعنی این مدل متخصص استدلال و اجرای ابزاره، نه یه دانشنامهٔ همه‌کاره.

نکات کلیدی:

• امتیاز LiveClaw برابر ۴۸.۰۹ در برابر ۳۸.۱۹ برای Qwen3.6-35B-A3B.
• ۲۴ میلیارد پارامتر کل و ۲.۴۵ میلیارد فعال برای هر توکن.
• آموزش روی ۳۶ تریلیون توکن، با RL داخل OpenClaw، Hermes Agent، Pi و OpenCode.
• context برابر ۱۳۱٬۰۷۲ توکن و vocabulary برابر ۱۲۸ هزار توکن.
• همیشه قبل از جواب استدلال می‌کنه، پس هر جواب یه سربار ثابت داره.
• مدل draft برای speculative decoding با SGLang موقع انتشار هنوز «به‌زودی» بود.