‏LFM2.5-Encoders؛ پردازش متن بلند روی CPU

تیم Liquid AI دو مدل انکودر با وزن باز روی هاگینگ‌فیس منتشر کرده: LFM2.5-Encoder-230M و LFM2.5-Encoder-350M. برخلاف مدل‌های تولید متن، انکودرها متن رو می‌خونن و ازش نمایش برداری می‌سازن — همون چیزی که پشت طبقه‌بندها، مسیریاب‌های پرامپت، فیلترهای ایمنی و تشخیص‌دهنده‌های اطلاعات شخصی کار می‌کنه. تو مقاله اومده که این کارها معمولاً تمام روز و روی CPU اجرا می‌شن، برای همین ارزون و سریع بودن مهم‌تر از هر چیز دیگه‌ست.

هر دو مدل از بک‌بون دیکودر LFM2.5 شروع شدن و با سه تغییر به انکودر دوطرفه تبدیل شدن: ماسک توجه دوطرفه که هر توکن رو به هر دو سمتش وصل می‌کنه، کانولوشن‌های کوتاه غیرعلّی با پدینگ متقارن، و آموزش با هدف Masked Language Modeling که ۳۰٪ توکن‌ها رو ماسک می‌کنه. آموزش دو مرحله بوده؛ اول کانتکست ۱۰۲۴ توکن روی یه پیکرهٔ وب بزرگ، بعد گسترش به ۸۱۹۲ توکن با تقویت دانش واقعی، حقوقی و چندزبانه.

برای ارزیابی، هر مدل روی ۱۷ تسک از GLUE، SuperGLUE و طبقه‌بندی چندزبانه به‌طور کامل فاین‌تیون شده و میانگین پنج seed گزارش شده. به گفتهٔ تیم، مدل ۳۵۰M بین ۱۴ مدل رتبهٔ چهارم رو گرفته و هر سه مدلی که جلوترن بزرگ‌ترن — یکی‌شون با ۳.۵ میلیارد پارامتر نزدیک ده برابر. مدل ۲۳۰M هم از ModernBERT-base و همهٔ نسخه‌های EuroBERT جلو زده. کد کامل ارزیابی هم اپن‌سورس شده.

عدد اصلی مقاله مربوط به CPU هست: تو ورودی ۸۱۹۲ توکنی، ModernBERT-base بیشتر از یک دقیقه‌ونیم برای هر forward pass وقت می‌بره، در حالی که LFM2.5-Encoder-230M حدود ۲۸ ثانیه طول می‌کشه — تقریباً ۳.۷ برابر سریع‌تر. روی GPU الگو مشابهه ولی فاصله کمتره و مدل‌های لیکویید از حدود ۲ هزار توکن به بعد جلو می‌افتن. یعنی می‌شه یه قرارداد یا رونوشت کامل رو زیر ۳۰ ثانیه روی CPU لپ‌تاپ اسکن کرد.

راه‌اندازی‌ش هم با transformers چند خط بیشتر نیست: مدل رو لود می‌کنی و مستقیم برای پیش‌بینی توکن ماسک‌شده اجراش می‌کنی، یا فقط بدنه رو با AutoModel می‌گیری و هد دلخواه خودتو روش سوار می‌کنی.

from transformers import AutoModelForMaskedLM, AutoTokenizer

model_id = "LiquidAI/LFM2.5-Encoder-230M"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
mlm = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)

بین دو سایز، ۳۵۰M برای وقتیه که دقت مهم‌تره و ۲۳۰M برای سخت‌افزار محدودتر یا توان عملیاتی بالاتر پیشنهاد شده. پنج دموی آمادهٔ CPU-only هم منتشر شده، از مسیریابی پرامپت و لینت سیاست گرفته تا غلط‌یاب و تشخیص ۴۰ نوع اطلاعات شخصی تو ۱۶ زبان.

نکات کلیدی:

• دو انکودر باز با ۲۳۰ و ۳۵۰ میلیون پارامتر و کانتکست ۸۱۹۲ توکنی
• ساخته‌شده از دیکودر LFM2.5 با توجه دوطرفه و آموزش ماسک‌شدهٔ ۳۰ درصدی
• مدل ۳۵۰M رتبهٔ چهارم بین ۱۴ مدل، جلوتر از مدل‌های بزرگ‌تر از خودش
• حدود ۳.۷ برابر سریع‌تر از ModernBERT-base روی CPU در ۸ هزار توکن
• مناسب طبقه‌بندی، مسیریابی، فیلتر ایمنی و تشخیص اطلاعات شخصی