‏Liquid AI خانوادهٔ LFM3 رو معرفی کرد: مدل‌های کوچیک برای اجرا روی دستگاه

Liquid AI تو این پست خانوادهٔ LFM3 رو معرفی کرده؛ نسل سوم Liquid Foundation Models که اولین نسخه‌اش شش مدل حدود ۲ میلیارد پارامتری داره. همه از یه backbone مشترک به اسم LFM3-1.7B-Base ساخته شدن: مدل متنی، بینایی (VL)، صوتی، Omni و دو مدل تصمیم‌گیری. وزن‌ها open-weight هستن و روی Hugging Face و API خود Liquid در دسترسن.

معماری LFM3 یه ترکیب سه‌تاییه. از ۲۴ لایه، ۱۳ تا gated short convolution هستن، ۵ تا sliding-window attention یا SWA (یعنی attentionی که فقط به ۲۵۶ توکن اخیر نگاه می‌کنه) و ۶ تا global attention. این ترکیب با جستجوی خودکار معماری روی ۱۴ ترکیب سخت‌افزاری، از گوشی و Raspberry Pi 5 تا GPU و NPU، انتخاب شده. طبق گفتهٔ تیم، LFM3-1.7B با ۸K توکن context حدود ۲۵٪ سریع‌تر از LFM2-1.2B کار می‌کنه.

مدل پایه روی ۲۲ تریلیون توکن آموزش دیده و context window تا ۲۵۶K توکن رسیده. مدل متنی LFM3-1.7B برای ایجنت‌های محلی ساخته شده و طبق ادعای Liquid تو function calling روی BFCL و ToolSandbox جلوئه و تو کارهای طولانی مرورگر از Qwen3.5-9B بهتره. البته تو کدنویسی ایجنتی و دانش عمومی، مدل‌های بزرگ‌تر هنوز برنده‌ان.

روی دستگاه، با llama.cpp و کوانتیزاسیون Q4_0، این مدل ۱٫۸ تا ۲٫۸ برابر سریع‌تر از رقیب بعدی decode می‌کنه. KV cache برای کل ۱۲۸K توکن فقط ۱٫۶ گیگابایته، در حالی که برای Qwen3.5-4B حدود ۴٫۳ گیگابایته. یعنی context طولانی روی سخت‌افزار ضعیف هم ارزون می‌مونه.

مدل LFM3-VL-2B برای اولین بار ویدیو هم ورودی می‌گیره و یه vision encoder جدید داره که ۳ برابر کمتر از SigLIP2 محاسبه می‌خواد. LFM3-Audio-2B از ۱۸ زبان پشتیبانی می‌کنه و چون encoder صوتیش causal هست، وقتی هنوز داری حرف می‌زنی پردازش رو شروع می‌کنه و زمان اولین توکن تا ۵۰ میلی‌ثانیه پایین میاد. LFM3-Omni-2B هم تصویر، صدا و متن رو با هم می‌فهمه.

دو مدل d1-2B و d1-Omni-2B به جای تولید متن، چند سؤال رو با یه forward pass جواب می‌دن و برای هر جواب یه احتمال می‌دن؛ حالا می‌تونن دور اشیا کادر بکشن، متن از سند بیرون بکشن یا عدد تخمین بزنن. برای نشون دادن ارزش fine-tune، تیم LFM3-VL-2B رو با حدود ۳۰۰۰ عکس پره‌های توربین بادی چند ساعت روی یه A100 آموزش داده و دقت دسته‌بندی عیب‌ها از زیر ۱۰٪ به ۶۷٪ رسیده.

نکات کلیدی:

• اولین نسخهٔ LFM3 شش مدل حدود ۲ میلیارد پارامتری داره که همه open-weight هستن.
• معماری: ۲۴ لایه شامل ۱۳ convolution، ۵ SWA با پنجرهٔ ۲۵۶ توکنی و ۶ global attention.
• پیش‌آموزش روی ۲۲ تریلیون توکن و context window تا ۲۵۶K توکن.
• KV cache برای ۱۲۸K توکن فقط ۱٫۶ گیگابایته.
• LFM3-Audio-2B از ۱۸ زبان پشتیبانی می‌کنه و زمان اولین توکنش تا ۵۰ میلی‌ثانیه‌ست.
• پشتیبانی از llama.cpp، MLX و vLLM از روز اول.