‏استریم‌های Node.js: از مشکل حافظه تا مدل‌های Push و Pull

بزرگ‌ترین مشکلی که استریم‌ها حلش می‌کنن اینه: وقتی داده از حافظه بیشتره چی کار کنیم؟ رویکرد ساده اینه که کل فایل رو بخونیم، پردازش کنیم، بنویسیم. برای یه فایل کوچیک عالیه، ولی اگه کاربر یه ویدیو ۲ گیگابایتی آپلود کنه، برنامه باید ۲ گیگ رم اختصاص بده. ده تا کاربر همزمان؟ یعنی ۲۰ گیگ. این رویکرد مقیاس‌پذیر نیست.

راه‌حل پردازش چانکی (chunked processing) ـه: به‌جای کل فایل، فقط ۶۴ کیلوبایت بخون، پردازش کن، بنویس، برو سراغ بعدی. اینطوری مصرف حافظه به اندازه چانک محدود می‌مونه نه اندازه فایل. یه فایل ۲ گیگ رو می‌شه با ۶۴ کیلوبایت حافظه پردازش کرد. ضمناً عملیات‌ها می‌تونن روی هم بیفتن: درحالی‌که چانک N پردازش می‌شه، چانک N+1 از دیسک خونده می‌شه.