StreamVibe: مدل ویدیویی که نیت کاربر رو حدس می‌زنه
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
تو یه مقاله تازه که ۲۶ اکتبر ۲۰۲۶ تو arXiv منتشر شده، ۱۶ پژوهشگر مجموعه‌ای به اسم StreamVibe معرفی کردن. نقطه شروعشون اینه که مدل‌های vision-language (یعنی مدل‌هایی که هم تصویر و ویدیو می‌بینن هم متن می‌فهمن) دارن از تحلیل آفلاین ویدیو به سمت تعامل زنده و پیش‌دستانه می‌رن. به گفته نویسنده‌ها، مشکل اینه که روش‌های فعلی بیشتر منتظر درخواست صریح کاربر می‌مونن.
مثالی که مقاله می‌زنه اینه: کاربر داره تو یه سایت می‌گرده و تو ذهنش سؤالش اینه که «حالا کجا کلیک کنم؟» ولی چیزی تایپ نمی‌کنه. این نیت ضمنی (implicit intent) رو مدل‌های فعلی نمی‌گیرن. مشکل دوم اینه که خواسته کاربر وسط کار مدام عوض میشه و مدل‌ها وضعیتشون رو همزمان به‌روز نمی‌کنن.
راه‌حلشون سه بخش داره. اول StreamVibe-Bench، یه بنچمارک با ۴.۱ هزار نمونه ارزیابی و ۸۵ هزار نمونه آموزشی که سه نوع نیت صریح، ضمنی و پویا رو پوشش می‌ده. دوم StreamVibe-VL، یه مدل streaming که از روی مشاهده مداوم، نیت کاربر رو حدس می‌زنه و با عوض شدن اون، جواب‌هاش رو تنظیم می‌کنه. سوم StreamVibe-Harness که نیت‌های کاربر رو به شکل یه وضعیت ماندگار تو یه حافظه سلسله‌مراتبی نگه می‌داره تا آخرین خواسته و وضعیت محیط همیشه معلوم باشه.
طبق آزمایش‌های مقاله، StreamVibe-VL توان کلی فهم ویدیو رو حفظ کرده و زمان‌بندی و کیفیت جواب‌ها رو ۱۰.۷ درصد نسبت به بقیه baselineها بهتر کرده. نویسنده‌ها می‌گن مدل‌های پیش‌دستانه فعلی هنوز تو فهم نیت کاربر و تصمیم اینکه کی جواب بدن ضعیفن، مخصوصاً وقتی نیت ضمنی یا متغیره. اضافه کردن Harness هم ثبات جواب‌ها تو تعامل طولانی رو بهتر کرده و ۱۲.۳ درصد بهبود تو تعامل پیش‌دستانه داده.
نکات کلیدی:
- StreamVibe-Bench شامل ۴.۱ هزار نمونه ارزیابی و ۸۵ هزار نمونه آموزشیه.
- بنچمارک سه نوع نیت رو پوشش می‌ده: صریح، ضمنی و پویا.
- StreamVibe-VL زمان‌بندی و کیفیت جواب رو ۱۰.۷ درصد بهتر کرده.
- StreamVibe-Harness با حافظه سلسله‌مراتبی ۱۲.۳ درصد بهبود تو تعامل پیش‌دستانه داده.
- مقاله تو دسته Computer Vision و با شناسه arXiv:2610.34662 منتشر شده.
