انکودر تصویر تو مدلهای چندوجهی واقعاً چی اضافه میکنه؟
خلاصهٔ کاملتر
بیشتر مدلهای چندوجهی (multimodal، یعنی مدلهایی که هم متن و هم تصویر میفهمن) تصویر رو از طریق یه vision encoder از پیش آموزشدیده میبینن. نویسندههای این مقاله میگن این انکودر در واقع سه تصمیم طراحی رو با هم بستهبندی کرده: یه پیشدانش تصویری از آموزش جداگونه، ظرفیت اختصاصی که فقط برای تصویر استفاده میشه، و قرار گرفتن این ظرفیت قبل از ترکیب با متن (pre-fusion). سؤالشون اینه که کدوم یکی واقعاً به کار میاد.
مشکل مقایسههای قبلی این بوده که مدلهای منتشرشده تو داده، معماری و میزان محاسبات با هم فرق دارن. برای همین این تیم همهٔ مدلها رو از صفر، با داده و معماری و دستورالعمل یکسان آموزش دادن و اونها رو با lifetime compute برابر مقایسه کردن؛ یعنی کل محاسباتی که برای ساخت مدل نهایی خرج شده، از جمله پیشآموزش انکودر. چون مثلاً SigLIP 2 روی ۴۰ میلیارد جفت تصویر و متن آموزش دیده و معمولاً این هزینه حساب نمیشه.
یافتهٔ اول: پیشآموزش جداگونه اختیاریه. انکودری که همراه مدل زبانی از صفر آموزش دیده همسطح انکودرهای پیشآموزشدیده روی همون دادهست. MetaCLIP تو اندازههای 1.7B و 4B تو همهٔ بودجهها یه کم از انکودر از صفر عقبتره، مثلاً 1.8 امتیاز Avg. VQA تو بزرگترین بودجه. پیشآموزش بیشتر دقت ImageNet رو بالا میبره ولی رو VQA (پرسش و پاسخ تصویری) تأثیری نداره، حتی وقتی رایگان حساب بشه.
یافتهٔ دوم: ظرفیت اختصاصی کلیدیه. مدلهای encoder-free که پچهای تصویر رو مستقیم با یه لایهٔ خطی وارد مدل زبانی میکنن، 4.1 تا 6.4 امتیاز تو 1.7B عقبترن، حتی وقتی ۰.۴ میلیارد پارامتر انکودر رو بهعنوان عرض یا عمق اضافه به خود مدل بدن. از 1.7B تا 6.4B، این مدلها حدود ۳ برابر محاسبات لازم دارن تا به انکودر برسن.
یافتهٔ سوم: این ظرفیت لازم نیست قبل از مدل باشه. اگه همون ۰.۴B پارامتر رو بهشکل ماژولهای مخصوص تصویر تو هشت لایهٔ اول خود مدل بذارن (in-fusion)، نتیجه با انکودر برابره: 45.0 در مقابل 44.4. جاگذاری تو لایههای بعدی کمکی نمیکنه. این روش روی سؤالهای OCR و نمودار هم خیلی بهتر از encoder-free هست (36.0 در مقابل 25.2).
نتایج تو مقیاسهای مختلف و وقتی تصویر به یه مدل زبانی 1.7B از قبل آموزشدیده اضافه میشه هم برقراره: in-fusion با 50.1، انکودر با 48.6 و encoder-free با 39.8. یه مزیت عملی هم داره: انکودر جدا باید اول کار تصویر رو تموم کنه تا مدل شروع کنه، ولی in-fusion فقط 37 میلیثانیه به time to first token اضافه میکنه، در مقابل 64 میلیثانیه برای انکودر.
نکات کلیدی:
- پیشآموزش جداگونهٔ انکودر در lifetime compute برابر، مزیتی روی VQA نداره.
- مدلهای encoder-free حدود ۳ برابر محاسبات لازم دارن تا به انکودر برسن.
- ۰.۴B پارامتر مخصوص تصویر تو ۸ لایهٔ اول مدل، همسطح انکودر جداست (45.0 در برابر 44.4).
- in-fusion فقط 37ms به زمان اولین توکن اضافه میکنه، انکودر 64ms.
- همهٔ انکودرها ViT با ۲۷ لایه و ۰.۴B پارامتر بودن، هماندازهٔ So400m.




