چهار درس از پیشآموزش چندوجهی مدلها
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
تو این مقالهٔ arXiv که مرداد ۱۴۰۵ منتشر شده، نویسندهها میگن با اینکه همه دارن به سمت مدلهای چندوجهیِ ذاتاً یکپارچه میرن، هنوز روشن نیست موقع آموزش مشترک، مدالیتهها (یعنی متن و تصویر) دقیقاً چه اثری روی هم میذارن. برای همین رفتن سراغ یه سری آزمایش کنترلشده، هم روی دادهٔ مصنوعی و هم روی دادهٔ واقعیِ بزرگمقیاس، و چهار نتیجهٔ کلیدی بیرون کشیدن.
اولین نتیجه دربارهٔ جریان دانشه: انتقال دانش بین زبان، درک تصویر و تولید تصویر متقارن نیست و هر کدوم جور دیگهای روی بقیه اثر میذارن. دومی همافزایی در برابر رقابته؛ به گفتهٔ نویسندهها این «پیچیدگی» دادهست که تعیین میکنه مدالیتهها همدیگه رو تقویت کنن یا سر ظرفیت مدل با هم بجنگن.
از نظر معماری، ترکیبی که بهشون همافزایی داده اینه: attention و نرمالسازی مشترک بین مدالیتهها، ولی لایههای feed-forward مخصوص هر مدالیته. نویسندهها میگن این رفتار به طراحی توکنایزر تصویری وابسته نیست و روی توکنایزرهای مختلف هم تکرار میشه.
سومین نتیجه شاید جالبترینشون باشه: یکیکردن مدالیتهها از همون مراحل خیلی اول و آموزش مشترکشون، مؤثرتر از همترازکردن دیرهنگام یا آموزش مرحلهبهمرحلهست. تو همین مسیر پدیدهای رو دیدن که اسمشو گذاشتن تنبلی بینایی: وقتی بینایی دیر وارد آموزش میشه، مدل یاد میگیره به جای نگاهکردن به تصویر، به پیشفرضهای زبانی تکیه کنه.
بخش آخر دستورالعملهای عملیه؛ نویسندهها میگن با این نسخهها فقط با ۵ درصد بودجهٔ محاسباتی هم میشه به کیفیت تولید خوبی رسید. برای اینکه نتیجهها فقط تو مقیاس کوچیک درست نباشه، همهشو با آموزش چند مدل MoE با ۱۳.۵ میلیارد پارامتر روی ۲ تریلیون توکن دوباره سنجیدن.
نکات کلیدی:
- انتقال دانش بین زبان، درک تصویر و تولید تصویر نامتقارنه
- پیچیدگی داده تعیین میکنه مدالیتهها همافزا باشن یا رقیب
- توجه و نرمالسازی مشترک + feed-forward جدا، بهترین ترکیب بوده
- یکپارچهسازی زودهنگام جلوی «تنبلی بینایی» رو میگیره
- دستورالعملهای پیشنهادی با ۵٪ بودجهٔ محاسباتی جواب دادن
