LiquidCodec: کدک صوتی جدید Liquid AI برای اجرا روی دستگاه
خلاصهٔ کاملتر
Liquid AI تو این پست کدک صوتی تازهش، LiquidCodec، رو معرفی کرده که پایهی مدلهای LFM3-Audio-2B و LFM3-Omni-2B هست. کدک صوتی دو بخش داره: یه tokenizer که صدا رو به توکنهایی تبدیل میکنه که مدل زبانی بتونه پیشبینیشون کنه، و یه detokenizer که این توکنها رو دوباره صدا میکنه. LiquidCodec حدود ۷۴ میلیون پارامتر داره و برای اجرا روی خود دستگاه طراحی شده.
به گفتهی تیم، قبلاً از کدک Mimi استفاده میکردن و تو نسخهی LFM2.5 فقط detokenizer رو عوض کرده بودن که هشت برابر سریعتر شد. ولی tokenizer قدیمی از روش RVQ استفاده میکرد، یعنی چند codebook پشت سر هم که هر کدوم خطای قبلی رو اصلاح میکنه. این وابستگی زنجیرهای پیشبینی موازی توکنها رو سخت میکنه، برای همین تصمیم گرفتن کل کدک رو خودشون بسازن.
مهمترین تصمیم استفاده از GFSQ بوده، یعنی هر گروه از ویژگیها جداگونه به چند مقدار ثابت گرد میشه. اینجوری codebookها به هم وابسته نیستن و مدل میتونه چندتاشون رو موازی پیشبینی کنه. کدک با نرخ 12.5 فریم در ثانیه (هر ۸۰ میلیثانیه یه فریم) روی صدای ۲۴ کیلوهرتز کار میکنه. encoder و decoder کاملاً قرینهن و encoder کاملاً causal هست، یعنی فقط به صدای گذشته نگاه میکنه و برای استریم زنده مناسبه.
آموزش دو مرحله داشته. اول روی ۲۶۴ هزار ساعت صدا از ۱۰۷ زبان، بدون lossهای GAN. چون خروجی صدای «فلزی» داشت، مرحلهی دوم روی ۵۵ هزار ساعت صدای تمیزتر با criticهای adversarial انجام شد و این مشکل برطرف شد. بعد هم با QAT (آموزش با در نظر گرفتن کوانتیزه شدن) decoder برای اجرا با دقت پایین آماده شد.
تو ارزیابی روی هشت مجموعهی تست، LiquidCodec بهترین امتیاز ViSQOL و کمترین mel distance رو داشته. مدلهای TTS که روی توکنهاش آموزش دیدن، تو هر هشت مجموعه بالاترین امتیاز طبیعی بودن (UTMOSv2) رو گرفتن و همین نتیجه با backbone Qwen3-1.7B هم تکرار شده. روی CPU تکرشتهای یه MacBook Pro با M4 Max، رمزگذاری حدود 361 برابر و رمزگشایی حدود 87 برابر سریعتر از زمان واقعیه.
نکات کلیدی:
- LiquidCodec حدود ۷۴ میلیون پارامتر داره و روی معماری LFM3 ساخته شده
- بهجای RVQ از GFSQ استفاده میکنه تا codebookها موازی پیشبینی بشن
- نرخ فریم 12.5 هرتز و صدای ۲۴ کیلوهرتز
- QAT حجم decoder رو تو Q4_0 حدود 3.5 برابر کم میکنه با افت کیفیت ناچیز
- روی Hugging Face منتشر شده و با Transformers لود میشه؛ نسخههای GGUF برای llama.cpp هم هست




