‏Linum: مدل تصویرساز ۲ میلیارد پارامتری با ۲۱ هزار دلار

تیم Linum که فقط دو نفرن، یه مدل تصویرساز به اسم Pyramid-JiT یا P-JiT رو با هزینهٔ حدود ۲۱ هزار دلار آموزش داده. به گفتهٔ خودشون این مدل یه proof-of-concept تو مسیر مدل ویدیویی بعدیشونه، ولی نتیجه‌ها برای اندازه‌ش اون‌قدر خوب بوده که تصمیم گرفتن منتشرش کنن. نویسنده‌ها معتقدن مدل‌های ویدیویی امروز دو تا مشکل بزرگ دارن: خیلی کند و گرونن و کنترل درستی هم روشون نیست.

گلوگاه اصلی هزینه، attention هست (یعنی بخشی از ترنسفورمر که هر توکن رو با همهٔ توکن‌های دیگه مقایسه می‌کنه و هزینه‌ش O(n²) هست). پس هرچی تصویر رو بیشتر فشرده کنی و توکن کمتری داشته باشی، آموزش و اجرا ارزون‌تر می‌شه. معمولاً این فشرده‌سازی رو یه مدل جدا به اسم VAE انجام می‌ده، ولی نویسنده‌ها می‌گن VAE یه سقف تجربی داره و حتی بهتر کردنش گاهی خروجی نهایی رو بدتر می‌کنه.

راه‌حلشون این بوده که VAE رو کلاً حذف کنن و مدل diffusion مستقیم تو pixel space کار کنه. P-JiT تصویر رو به تکه‌های ۳۲×۳۲ تقسیم می‌کنه، در حالی که Linum v2 مثل بیشتر مدل‌ها (مثلاً FLUX-2) از ۱۶×۱۶ استفاده می‌کرد. یعنی یه تصویر ۵۱۲×۵۱۲ با همون تعداد توکنی نمایش داده می‌شه که قبلاً برای ۲۵۶×۲۵۶ لازم بود. این یعنی ۴ برابر کمتر شدن context attention. به گفتهٔ تیم، این مدل با ۱۱ برابر نمونهٔ کمتر از Linum v2 همگرا می‌شه.

یه ترفند مهمشون اینه که چون مدل روی پیکسل کار می‌کنه، می‌تونن وسط شبکه هم ازش بخوان نسخهٔ کم‌رزولوشن تصویر نهایی رو پیش‌بینی کنه. این کار سیگنال یادگیری رو به لایه‌های اول شبکه می‌رسونه که معمولاً ضعیف یاد می‌گیرن. تو ساختار نهایی، متن از یه مدل Qwen3.5-4B ثابت میاد، ۲۲ بلوک DiT مشترک وجود داره، و بعد از بلوک‌های ۱۰ و ۱۶ دو خروجی کمکی تصویر رو با یک‌چهارم و نصف رزولوشن پیش‌بینی می‌کنن. یه readout به اسم PixelREPA هم فضای داخلی مدل رو با DINOv3-L هم‌راستا می‌کنه.

آموزش روی ۶۴ تا H100 انجام شده: حدود ۶۱۰ میلیون نمونه تو رزولوشن ۵۱۲ و بعد حدود ۵۰ میلیون نمونه تو ۱۰۲۴. برای post-training هم از نسخه‌ای از روش FDFO استفاده کردن. نویسنده‌ها می‌گن post-training برای مدل‌های diffusion هنوز خیلی نوپاست، چون برخلاف LLMها تخمین درستی از likelihood ندارن.

مدل محدودیت‌هایی هم داره. چون داده‌های متنی مثل پوستر و اسلاید عمداً حذف شدن، اصلاً نمی‌تونه متن بنویسه. به خاطر کوچیک بودنش هم تو بدن کامل، صحنه‌های شلوغ، تعامل چند نفره و دانش عمومی ضعیفه. تیم فکر می‌کنه یه مدل بزرگ‌تر (مثلاً ۷ میلیارد پارامتری) و post-training بیشتر این مشکلات رو کم می‌کنه.

نکات کلیدی:

• مدل P-JiT دو میلیارد پارامتر DiT داره و با حدود ۲۱ هزار دلار آموزش دیده.
• تکه‌های ۳۲×۳۲ به‌جای ۱۶×۱۶ یعنی ۴ برابر context کمتر برای attention.
• VAE حذف شده و مدل مستقیم روی پیکسل‌ها کار می‌کنه.
• آموزش روی ۶۴ تا H100، حدود ۶۶۰ میلیون نمونه در دو مرحلهٔ ۵۱۲ و ۱۰۲۴.
• مدل نمی‌تونه متن تو تصویر بسازه و تو صحنه‌های شلوغ و بدن کامل ضعیفه.