‏WavFlow: تولید صدا مستقیم از موج خام

WavFlow یه پروژه پژوهشی از Meta AI‌ه که یه رویکرد تازه برای تولید صدا ارائه می‌ده: به جای اینکه مثل اکثر مدل‌های امروزی ابتدا صدا رو به یه فضای لِیتنت (latent space) فشرده کنه و بعد اون فضا رو یاد بگیره، مستقیماً روی موج خام صوتی (raw waveform) کار می‌کنه. این تفاوت بنیادی‌ه — یعنی هیچ مرحله فشرده‌سازی بینابینی وجود نداره.

دو تکنیک اصلی این رویکرد رو عملی می‌کنن: waveform patchifying که موج بلند صوتی رو به تکه‌های کوچیک‌تر تقسیم می‌کنه تا پردازشش راحت‌تر بشه، و amplitude lifting که دامنه موج رو به شکلی تبدیل می‌کنه که آموزش پایدار بمونه. روی این پایه، مدل از تکنیک flow matching برای تولید صدا استفاده می‌کنه — روشی که در حوزه تصویر هم خیلی محبوب شده.

ورودی‌های مدل می‌تونن ویدیو، متن، یا هر دو باشن. مثلاً می‌شه یه فایل ویدیویی داد و مدل صدای هماهنگ باهاش تولید کنه، یا فقط یه توضیح متنی مثل «موشک سوت‌کشان منفجر می‌شه» بفرستی و صدا بگیری. این انعطاف از طریق یه فایل CSV ساده ورودی کنترل می‌شه:

video_path,caption,video_exist,text_exist
/abs/path/sample1.mp4,a whistling rocket explodes,1,1
,a whistling rocket explodes,0,1
/abs/path/sample3.mp4,,1,0

ارزیابی روی دو بنچمارک معروف — VGGSound برای تولید صدا از ویدیو و AudioCaps برای تولید صدا از متن — نشون می‌ده که WavFlow از نظر کیفیت صوتی، وضوح، و همگام‌بودن با ویدیو می‌تونه با روش‌های لِیتنت‌محور رقابت کنه. این یعنی اون فرضِ «فضای لِیتنت لازمه» لزوماً درست نیست.

یه نکته مهم برای کسایی که می‌خوان از این مدل استفاده کنن: به خاطر محدودیت‌های سازمانی، Meta وزن‌های نسخه اصلی رو منتشر نکرده. تیم داره روی یه checkpoint پایه با داده‌های کاملاً open-source کار می‌کنه، ولی فعلاً باید خودت مدل رو آموزش بدی.

نکات کلیدی:

• تولید صدا مستقیم روی موج خام، بدون فشرده‌سازی لِیتنت
• ورودی انعطاف‌پذیر: ویدیو، متن، یا ترکیب هر دو
• کیفیت برابر با روش‌های لِیتنت‌محور در بنچمارک‌های VGGSound و AudioCaps
• وزن‌های تولیدی هنوز منتشر نشده؛ باید خودت آموزش بدی
• لایسنس CC-BY-NC 4.0 (غیرتجاری)