‏EmbeddingGemma 2؛ یه مدل embedding برای متن، عکس، صدا و ویدیو

EmbeddingGemma 2 یه مدل embedding متن‌باز از Google DeepMind هست. embedding یعنی تبدیل یه محتوا به یه لیست عدد (بردار) که محتواهای شبیه به هم، بردارهای نزدیک به هم داشته باشن. این مدل متن، کد، عکس، ویدیو و صدا رو همه به بردارهای ۷۶۸ عددی تو یه فضای مشترک می‌بره. با لایسنس Apache 2.0 منتشر شده و وزن‌هاش روی Hugging Face هست. پنجرهٔ context متنی‌ش هم 8K توکنه.

ترفند اصلی معماریه: متن از tokenizer رد می‌شه، عکس و فریم‌های ویدیو از vision encoder و صدا از audio encoder. هر سه مسیر آخرش به یه text backbone مشترک می‌رسن، پس خروجی همیشه همون بردار ۷۶۸ تاییه. یعنی جملهٔ «یه حیوون وحشی موقع غروب» و عکس واقعی‌ش کنار هم می‌افتن. مقاله می‌گه این با چسبوندن چند مدل جدا به هم فرق داره، چون مدل از اول طوری آموزش دیده که همه‌چی تو یه فضا بیفته.

مدل ماژولار هست: بخش متنی ۲۷۰ میلیون پارامتر داره، vision encoder حدود ۱۷۰ میلیون و audio encoder حدود ۳۰۰ میلیون. جمعاً ۷۴۰ میلیون، ولی فقط چیزی رو که لازم داری بار می‌کنی. تو تست نویسنده با کتابخونهٔ sentence-transformers، حالت فقط‌متنی زیر ۲ گیگ VRAM گرفت. یعنی رو یه GPU معمولی یا حتی CPU هم راه می‌افته.

قابلیت دیگه Matryoshka truncation هست، یعنی مدل طوری آموزش دیده که اطلاعات مهم‌تر اول بردار باشه. پس می‌شه بردار رو به ۵۱۲، ۲۵۶ یا ۱۲۸ عدد کوتاه کرد و تا شش برابر تو فضای ذخیره صرفه‌جویی کرد. طبق راهنمای گوگل، کیفیت تا ۲۵۶ خوب می‌مونه ولی تو ۱۲۸ افت می‌کنه، مخصوصاً برای عکس و صدا و ویدیو. تو تست مقاله، کوتاه کردن از ۷۶۸ به ۲۵۶ حتی یه نتیجهٔ اول رو هم عوض نکرد.

تو تست‌ها، شش جمله با شش عکس ساختهٔ هوش مصنوعی مقایسه شدن و همه درست جفت شدن. حتی «یه چیز خوشمزه» به عکس کاری رسید بی‌اینکه کلمهٔ کاری تو جمله باشه. امتیاز متن به عکس معمولاً بین 0.65 تا 0.80 بود که برای مقایسهٔ بین دو نوع محتوا طبیعیه. نویسنده می‌گه مهم فاصلهٔ نفر اول با دومه، نه خود عدد. روی بنچمارک جستجوی کد هم حدود ۷۸ گرفته و از مدل‌های چند برابر بزرگ‌تر مثل INF-retriever با ۱.۵ میلیارد پارامتر جلو زده.

به گفتهٔ نویسنده، اگه فقط متن لازم داری یه مدل کوچیک‌تر مخصوص متن ممکنه ساده‌تر باشه. ولی هر جا بخوای بین چند نوع محتوا جستجو کنی، داشتن یه فضای برداری مشترک کلی از پیچیدگی یکپارچه‌سازی رو حذف می‌کنه.

نکات کلیدی:

• خروجی مدل برای همهٔ نوع محتوا یه بردار ۷۶۸ بعدی تو یه فضای مشترکه.
• حجم کل ۷۴۰ میلیون پارامتره: ۲۷۰M متن، حدود ۱۷۰M تصویر و حدود ۳۰۰M صدا که جدا بار می‌شن.
• حالت فقط‌متنی زیر ۲ گیگ VRAM مصرف می‌کنه.
• بردار رو می‌شه تا ۲۵۶ بُعد کوتاه کرد بدون افت محسوس؛ تو ۱۲۸ کیفیت پایین میاد.
• لایسنس Apache 2.0 داره و context متنی‌ش 8K توکنه.