‏LFM3-1.7B-Base از Liquid AI: مدل پایه یک گیگی برای fine-tune

LFM3-1.7B-Base یه مدل ۱.۷۳ میلیارد پارامتری از Liquid AI هست؛ همون checkpoint پیش‌آموزش‌دیده‌ای که مدل چت LFM3-1.7B روش ساخته شده. روی ۲۲ تریلیون token آموزش دیده، کانتکست 256K token (ورودی و خروجی با هم) داره و با کوانتیزه ۴ بیتی حدود 1GB حافظه می‌خواد. یعنی روی گوشی و لپ‌تاپ معمولی هم جا می‌شه. زیر لایسنس اختصاصی LFM Open License v1.0 منتشر شده.

خود Liquid AI می‌گه این مدل فقط برای کارهایی توصیه می‌شه که fine-tune سنگین لازم دارن؛ مثل ساختن دستیار برای یه زبان خاص، آموزش روی داده‌های داخلی شرکت یا تست روش‌های جدید post-training. اگه چت‌بات یا agent با tool calling می‌خوای، باید سراغ LFM3-1.7B بری که روی همین پایه SFT، یادگیری تقویتی، distillation و agentic RL خورده.

فرق اصلیش معماری tri-hybrid هست. ۲۴ لایه داره: ۱۳ لایه gated short convolution که الگوهای محلی رو ارزون پردازش می‌کنن، ۵ لایه sliding-window attention (یعنی attention فقط روی یه پنجره محدود اطراف هر token) و ۶ لایه global attention برای وابستگی‌های دور تو کل متن. یعنی بیشتر کار با convolution ارزون انجام می‌شه و attention کامل فقط جایی که واقعاً لازمه. نتیجه اینه که کانتکست تا 256K بالا می‌ره بدون اینکه هزینه حافظه مثل مدل‌های تمام attention منفجر بشه.

کانتکست بلند از اول نبوده و مرحله‌به‌مرحله اضافه شده: حدود ۱۵ تریلیون token پیش‌آموزش اصلی، حدود ۳ تریلیون token کد و ریاضی و علوم با کانتکست 4K، حدود ۳ تریلیون token داده agentic (یعنی رد اجرای agentها و نمونه‌های tool call) با کانتکست 32K، بعد حدود ۵۰۰ میلیارد token برای رسیدن به 128K و حدود ۵۰ میلیارد token برای 256K.

به گفته مقاله، مزیت اصلی اجرای کاملاً آفلاینه؛ برای اپ‌های حساس به حریم خصوصی، دستگاه‌های embedded یا جاهایی که اینترنت مطمئن نیست. ولی یه مدل ۱.۷ میلیاردی تو استدلال و دانش عمومی به پای مدل‌های بزرگ نمی‌رسه و ارزشش تو تخصصی شدنه. مدل با Transformers و وزن‌های BF16 اجرا می‌شه، chat template با thinking trace قابل خاموش کردن داره، و Liquid AI نوت‌بوک Colab برای SFT (مثلاً استخراج JSON از سند) و ادامه پیش‌آموزش برای یه زبان جدید (با مثال ترکی) گذاشته.

نکات کلیدی:

• ۱.۷۳ میلیارد پارامتر، آموزش روی ۲۲ تریلیون token
• کانتکست 256K token که تو مراحل آخر آموزش اضافه شده
• با کوانتیزه ۴ بیتی حدود 1GB حافظه می‌خواد
• ۲۴ لایه: ۱۳ convolution، ۵ sliding-window attention، ۶ global attention
• ۱۶ زبان و vocabulary با ۱۲۸ هزار token
• برای چت آماده نیست؛ نسخه آماده چت LFM3-1.7B هست