‏مقالهٔ جدید یان لکان دربارهٔ JEPA: مدل کوچیک، درک بهتر از دنیا

یان لکان (برندهٔ جایزهٔ تورینگ و از سازنده‌های شبکه‌های کانولوشنی) همراه Randall Balestriero از دانشگاه Brown، ۲۹ اکتبر مقاله‌ای با عنوان «Proving and Improving the Platonic Representation Hypothesis with JEPA» منتشر کرد. حرف اصلی مقاله اینه که مدل‌هایی که با JEPA آموزش می‌بینن، تحت شرایط مشخص، از داده‌های متفاوت مثل متن و تصویر به یه نقشهٔ درونی یکسان از واقعیت می‌رسن. لکان سال‌هاست می‌گه بزرگ‌تر کردن مدل‌های زبانی به هوش در حد انسان نمی‌رسه.

استدلالش یه مقایسه‌ست. یه LLM معمولی با حدود ۲۰ تریلیون token آموزش می‌بینه که می‌شه حدود 10^14 بایت، یعنی تقریباً کل متن عمومی اینترنت. یه بچهٔ چهارساله هم حدود ۱۶ هزار ساعت بیدار بوده و عصب بینایی حدود ۲ مگابایت در ثانیه داده به مغزش می‌فرسته؛ این هم می‌شه حدود 10^14 بایت. ولی بچه می‌دونه چیزی که پنهان می‌شه هنوز هست یا لیوانی که از میز بیفته می‌شکنه، چیزهایی که LLMها مطمئن نمی‌دونن. به نظر لکان، مدل‌های زبانی تو ریاضی و کد که خودشون از جنس زبانن عالی‌ان، ولی با دنیای فیزیکی مشکل دارن.

JEPA (یعنی joint embedding predictive architecture) به‌جای پیش‌بینی دقیق کلمهٔ بعدی یا پیکسل بعدی، اول چیزی که می‌بینه رو به یه representation انتزاعی (یه جور خلاصهٔ درونی) تبدیل می‌کنه و پیش‌بینی رو تو همون فضا انجام می‌ده. اینطوری جزئیات غیرقابل‌پیش‌بینی رو کنار می‌ذاره. مثلاً اگه دوربین دور یه اتاق بچرخه، مدل می‌تونه حدس بزنه دیوار و پنجره هست، ولی نمی‌تونه بدونه کی رو کدوم صندلی نشسته. لکان می‌گه مجبور کردن مدل به حدس زدن این جزئیات ظرفیتش رو هدر می‌ده.

یه خطر این روش collapse هست، یعنی مدل تقلب کنه و برای همه چیز یه خلاصهٔ کلی یکسان تولید کنه تا پیش‌بینی‌هاش همیشه درست ولی بی‌فایده باشن. تیم لکان با تکنیک‌هایی مثل SigReg و VCReg جلوی این میانبر رو می‌گیره تا مدل representationهای واقعاً متمایز یاد بگیره.

platonic representation hypothesis رو محقق‌های MIT سال ۲۰۲۴ مطرح کردن: هر چی مدل‌ها قوی‌تر می‌شن، مدل‌های تصویری و متنی اطلاعات رو به شکل شبیه‌تری سازمان می‌دن. این مقاله برای اولین بار با ریاضی نشون می‌ده که مدل‌های JEPA با داده‌های مختلف به representationهایی می‌رسن که از نظر ریاضی معادلن، یعنی همون نقشه فقط چرخیده. شرطش «good view» هست: دو مشاهده از یه اتفاق واقعی، مثل عکس سگی که فریزبی می‌گیره کنار جمله‌ای که همون صحنه رو توصیف می‌کنه. به گفتهٔ مقاله، پیش‌بینی کلمهٔ بعدی یه «bad view» حساب می‌شه چون چند کلمهٔ بعدی معمولاً چیز زیادی از وضعیت دنیا نمی‌گن.

روی یه بنچمارک درک دنیا، یه مدل JEPA با حدود ۱۰۹ میلیون پارامتر از مدل‌های زبانی تا ۷۲ میلیارد پارامتر بهتر بوده؛ یعنی بیش از ۶۰۰ برابر کوچیک‌تر. ولی این فقط یه بنچمارکه و LLMها تو نوشتن، کدنویسی و جواب دادن به سؤال‌های باز هنوز خیلی جلوترن. لکان آخر سال گذشته از Meta رفت و AMI Labs رو تو پاریس راه انداخت که تو اولین دور جذب سرمایه ۱٫۰۳ میلیارد دلار گرفت.

نکات کلیدی:

• یان لکان و Randall Balestriero این مقاله رو ۲۹ اکتبر منتشر کردن.
• JEPA پیش‌بینی رو تو فضای representation انجام می‌ده، نه روی کلمه یا پیکسل خام.
• SigReg و VCReg تکنیک‌هایی هستن که جلوی collapse رو می‌گیرن.
• یه مدل JEPA با ۱۰۹ میلیون پارامتر روی یه بنچمارک درک دنیا از مدل‌های ۷۲ میلیاردی بهتر بوده.
• این برتری فقط برای همون بنچمارکه و LLMها تو کارهای زبانی هنوز جلوترن.
• AMI Labs، شرکت جدید لکان در پاریس، با حمایت Nvidia، Samsung، Toyota و شرکت سرمایه‌گذاری Jeff Bezos ۱٫۰۳ میلیارد دلار جذب کرده.