‏Lance: مدل چندوجهی یکپارچه بایت‌دنس

Lance یه مدل هوش مصنوعی چندوجهی (multimodal) از تیم تحقیقاتی بایت‌دنسه که ادعای جالبی داره: به جای اینکه برای هر کار یه مدل جداگانه داشته باشی، یه مدل واحد ۳ میلیارد پارامتری همه‌چیز رو با هم انجام می‌ده — تولید تصویر، تولید ویدیو، ویرایش تصویر، ویرایش ویدیو، و درک محتوای بصری (VQA یا پرسش‌وپاسخ بصری).

نکته‌ی جالب اینه که Lance کاملاً از صفر آموزش دیده — البته به جز دو ماژول کمکی ViT (برای کدگذاری تصویر) و VAE (برای فشرده‌سازی داده بصری). بقیه‌ی معماری، یعنی بدنه‌ی اصلی transformer، روی ۱۲۸ کارت A100 از پایه ساخته شده. این رویکرد «آموزش چندوظیفه‌ای مرحله‌به‌مرحله» (staged multi-task training) کمک کرده تا وظایف مختلف به جای تداخل، همدیگه رو تقویت کنن.

عملکرد Lance روی بنچمارک‌های استاندارد قابل توجهه. در VBench (ارزیابی تولید ویدیو)، با امتیاز ۸۵.۱۱ از مدل‌های unified بزرگ‌تری مثل TUNA و Show-o جلو می‌زنه و حتی از Wan2.1 با ۱۴ میلیارد پارامتر بهتره. در GenEval (ارزیابی تولید تصویر)، با امتیاز کلی ۰.۹۰ در کنار مدل‌های ۷ میلیارد پارامتری قرار می‌گیره. در GEdit-Bench (ویرایش تصویر) هم با میانگین ۷.۳۰ از اغلب مدل‌های unified پیشی می‌گیره.

برای استفاده، یه اینترفیس command-line یکپارچه داره. مثلاً برای تولید ویدیو از متن می‌شه این‌طوری اجرا کرد:

bash inference_lance.sh \
  --TASK_NAME t2v \
  --MODEL_PATH downloads/Lance_3B_Video \
  --RESOLUTION video_480p \
  --NUM_FRAMES 121 \
  --VIDEO_HEIGHT 480 \
  --VIDEO_WIDTH 848 \
  --SAVE_PATH_GEN results/t2v

وزن‌های مدل به صورت رایگان روی Hugging Face در دسترسن، ولی برای اجرا به یه GPU با حداقل ۴۰ گیگابایت VRAM (مثل A100) نیاز داری. یه رابط Gradio هم برای تست سریع‌تر وجود داره.

نکات کلیدی:

• Lance یه مدل ۳B یکپارچه‌ست که تولید، ویرایش و درک تصویر و ویدیو رو همزمان پشتیبانی می‌کنه
• از صفر آموزش دیده (جز ViT و VAE) روی ۱۲۸ GPU مدل A100
• در VBench با امتیاز ۸۵.۱۱ از مدل‌های بزرگ‌تر unified جلوتره
• وزن‌های مدل اپن‌سورس روی Hugging Face منتشر شده
• برای inference به GPU با ۴۰GB+ VRAM نیاز داره