‏اجرای لوکال LFM2.5-24B-A2B برای ایجنت‌ها

LFM2.5-24B-A2B بزرگ‌ترین مدل خانوادهٔ LFM2.5 از Liquid AI هست. این مدل mixture-of-experts یا MoE هست، یعنی به‌جای اینکه همهٔ پارامترها برای هر توکن کار کنن، فقط چند «متخصص» انتخاب می‌شن. هر بلوک MoE ۶۴ متخصص داره و هر توکن به ۴ تاشون فرستاده می‌شه. نتیجه اینه که از ۲۴ میلیارد پارامتر، هر بار فقط حدود ۲.۴۵ میلیارد محاسبه می‌شه. تو این مقاله اومده که هدفش اجرای ایجنت روی لپ‌تاپ، ورک‌استیشن یا یه GPU تکیه، نه کلاستر دیتاسنتر.

مدل ۴۰ لایه داره: ۳۰ بلوک کانولوشن کوتاه double-gated (امضای معماری LFM2) و ۱۰ لایهٔ grouped-query attention. پنجرهٔ context از ۳۲ هزار به ۱۳۱٬۰۷۲ توکن رسیده و vocabulary هم از ۶۵ هزار به ۱۲۸ هزار توکن دو برابر شده تا زبان‌های غیرلاتین بهتر توکن‌بندی بشن. ۱۶ زبان پشتیبانی می‌شه. فرق مهمش با نسخهٔ قبلی اینه که حالا یه مدل استدلالی خالصه و همیشه قبل از جواب یه بلوک think تولید می‌کنه.

نکتهٔ مهم برای اجرای لوکال اینه که محاسبه سبکه، ولی باید کل ۲۴ میلیارد پارامتر (یا نسخهٔ کوانتیزه‌شده‌ش) تو حافظه جا بشه. برای همین انتخاب فرمت مهم‌ترین تصمیمه. GGUF برای llama.cpp و اجرا روی CPU، MLX 4-bit برای Apple Silicon (با سرعت ۱۸۴ توکن در ثانیه روی M5 Max)، FP8 برای سرو کردن با vLLM یا SGLang، safetensors با دقت کامل bfloat16 برای fine-tune، و ONNX برای اجرا روی پلتفرم‌های مختلف و موبایل.

رقم ۲۱ هزار توکن در ثانیه روی یه GPU انویدیا B300 هم گزارش شده، ولی به گفتهٔ نویسنده این یه عدد دیتاسنتریه و نباید رو سخت‌افزار خونگی انتظارش رو داشت. برای Transformers نسخهٔ ۵.۰.۰ به بالا لازمه و تنظیمات پیشنهادی تولید متن temperature برابر 0.1، top_k برابر 50 و repetition penalty برابر 1.05 هست. دمای پایین کمک می‌کنه مرحلهٔ استدلال قبل از جواب پرت نشه. هر بک‌اندی هم که انتخاب کنی، مدل یه API سازگار با OpenAI ارائه می‌ده.

آموزش بعدی مدل کاملاً روی کارهای ایجنتی متمرکز بوده: دو مرحله distillation و یه مرحله reinforcement learning داخل ایجنت‌های واقعی مثل OpenClaw، Hermes Agent، Pi و OpenCode. یعنی مدل تعریف ابزارها و system promptهای واقعی همین محیط‌ها رو دیده، نه فقط مثال‌های مصنوعی. tool calling به‌صورت پیش‌فرض با سینتکس شبیه پایتون انجام می‌شه، ولی می‌شه گفت JSON خروجی بده.

خود Liquid صریح می‌گه این مدل برای کارهای وابسته به دانش، به‌تنهایی مناسب نیست. پیشنهادش اینه که با retrieval یا جست‌وجوی وب ترکیبش کنی و از مدل برای استدلال و هماهنگ کردن ابزارها استفاده کنی. برای ایجنتی که باید API صدا بزنه یا یه محیط کدنویسی رو بچرخونه مناسبه، ولی برای جواب دادن به سؤال‌های اطلاعات عمومی نه.

نکات کلیدی:

• ۲۴ میلیارد پارامتر کل، ۲.۴۵ میلیارد فعال برای هر توکن، با ۶۴ متخصص و مسیریابی top-4.
• امتیاز ۴۸.۰۹ در LiveClaw در برابر ۳۸.۱۹ برای Qwen3.6-35B-A3B.
• پنجرهٔ context برابر ۱۳۱٬۰۷۲ توکن و آموزش روی ۳۶ تریلیون توکن.
• پنج فرمت: safetensors، FP8، GGUF، ONNX و MLX 4-bit.
• سرعت ۱۸۴ توکن در ثانیه روی Apple M5 Max با نسخهٔ MLX.
• برای کارهای وابسته به دانش باید با retrieval یا جست‌وجوی وب ترکیب بشه.