‏Lance: مدل چندوجهی یکپارچه بایت‌دنس

Lance یه مدل هوش مصنوعی چندوجهی (multimodal) از تیم تحقیقاتی بایت‌دنسه که ادعای جالبی داره: به جای اینکه برای هر کار یه مدل جداگانه داشته باشی، یه مدل واحد ۳ میلیارد پارامتری همه‌چیز رو با هم انجام می‌ده — تولید تصویر، تولید ویدیو، ویرایش تصویر، ویرایش ویدیو، و درک محتوای بصری (VQA یا پرسش‌وپاسخ بصری).

نکته‌ی جالب اینه که Lance کاملاً از صفر آموزش دیده — البته به جز دو ماژول کمکی ViT (برای کدگذاری تصویر) و VAE (برای فشرده‌سازی داده بصری). بقیه‌ی معماری، یعنی بدنه‌ی اصلی transformer، روی ۱۲۸ کارت A100 از پایه ساخته شده. این رویکرد «آموزش چندوظیفه‌ای مرحله‌به‌مرحله» (staged multi-task training) کمک کرده تا وظایف مختلف به جای تداخل، همدیگه رو تقویت کنن.