‏EmbeddingGemma 2؛ مدل امبدینگ سبک و چندرسانه‌ای گوگل

گوگل پارسال EmbeddingGemma رو معرفی کرد؛ یه مدل سبک برای ساختن embedding متنی (یعنی تبدیل متن به یه بردار عددی که معنیش رو نگه می‌داره، برای جستجو و مقایسه). به گفتهٔ تیم گوگل، اون نسخه بیشتر از ۲۰ میلیون بار دانلود شده و برای جستجوی روی دستگاه و RAG (یعنی وقتی مدل زبانی قبل از جواب دادن، اسناد مرتبط رو پیدا می‌کنه) استفاده شده. حالا نسخهٔ ۲ اومده و دیگه فقط متن نیست: کد، عکس، ویدیو و صدا هم تو همون فضای برداری مشترک قرار می‌گیرن.

EmbeddingGemma 2 روی معماری Gemma 4 ساخته شده، ۷۴۰ میلیون پارامتر داره و با لایسنس Apache 2.0 منتشر شده، یعنی استفادهٔ تجاری هم آزاده. چون همهٔ نوع داده‌ها تو یه فضا هستن، می‌شه با یه متن تو ساعت‌ها فایل صوتی گشت یا با یه پیام صوتی یه کلیپ خاص رو پیدا کرد. مدل ماژولاره: برای کار فقط متنی ۲۷۰ میلیون پارامتر کافیه و انکودر تصویر (۱۷۰M) و صدا (۳۰۰M) اختیاری هستن.

برای صرفه‌جویی تو حافظه از Matryoshka Representation Learning یا MRL استفاده می‌کنه؛ یعنی می‌شه بردار خروجی ۷۶۸ بعدی رو موقع استفاده به ۵۱۲، ۲۵۶ یا ۱۲۸ بعد کوتاه کرد. نتیجه‌ش تا ۶ برابر کمتر شدن فضای دیتابیس برداریه. با quantization (یعنی کم کردن دقت عددی وزن‌ها تا مدل کوچیک‌تر بشه) روی Pixel 11 Pro، نسخهٔ متنی حدود ۱۹۱ مگابایت و نسخهٔ کامل چندرسانه‌ای حدود ۵۶۷ مگابایت RAM لازم داره.

پنجرهٔ context هم ۸ هزار توکن شده که ۴ برابر نسخهٔ قبله. یعنی تا ۵.۵ دقیقه صدا، ۲۹ عکس یا ۵۸ فریم ویدیو رو یه‌جا پردازش می‌کنه. تو کد هم پیشرفت بزرگی داشته: امتیازش تو MTEB Code از ۶۸.۷۶ به ۷۸.۶۸ رسیده که برای ایندکس کردن کدبیس، جستجوی معنایی کد و ایجنت‌های کدنویسی به درد می‌خوره. گوگل می‌گه بین مدل‌های زیر یک میلیارد پارامتر بهترین کیفیت رو داره و حتی از بعضی مدل‌های تخصصی دو برابر بزرگ‌تر هم بهتره.

چون این مدل tokenizer متنی و انکودر صدای Gemma 4 رو باهاش شریکه، می‌شه هر دو رو کنار هم تو یه pipeline اجرا کرد و حافظهٔ کمتری مصرف کرد؛ EmbeddingGemma 2 فایل‌ها رو پیدا می‌کنه و Gemma 4 روشون فکر می‌کنه. وزن‌ها روی Hugging Face و Kaggle هست و ابزارهایی مثل sentence-transformers، vLLM، llama.cpp، Ollama، MLX و transformers.js هم ازش پشتیبانی می‌کنن. برای fine-tune هم راهنمای Unsloth در دسترسه.

نکات کلیدی:

• ۷۴۰ میلیون پارامتر، روی معماری Gemma 4 و با لایسنس Apache 2.0
• متن، کد، عکس، صدا و ویدیو تو یه فضای embedding مشترک
• نسخهٔ فقط متنی با ۲۷۰M پارامتر و حدود ۱۹۱MB رم روی Pixel 11 Pro
• با MRL بردار ۷۶۸ بعدی تا ۱۲۸ بعد کوتاه می‌شه (تا ۶ برابر فضای کمتر)
• context هشت هزار توکنی، ۴ برابر نسخهٔ اول
• امتیاز MTEB Code از ۶۸.۷۶ به ۷۸.۶۸ رسیده