Streamhouse کانفلوئنت: دادهی زنده برای ایجنتهای هوش مصنوعی
خلاصهٔ کاملتر
کانفلوئنت (که الان بخشی از IBM هست) تو یه بیانیهی خبری از معماریای به اسم Streamhouse رونمایی کرده. حرف اصلیش اینه که data lake و warehouse و lakehouse برای گزارشگیری و کارهای batch ساخته شدن، نه برای ایجنتهایی که لحظهبهلحظه تصمیم میگیرن. وقتی هر سیستم دادهش رو یه زمان دیگه آپدیت میکنه، ایجنت ممکنه روی اطلاعات قدیمی یا متناقض کار کنه.
مثالی که خودشون زدن یه پرواز کنسلشدهست. سیستم عملیات پرواز میدونه هواپیما کجاست، سیستم زمانبندی میدونه کی پرواز میکنه و سیستم رزرو میدونه کدوم صندلی خالیه. اگه اینها همزمان آپدیت نشن، ایجنت رزرو مجدد یه برنامه میچینه که تو هر سیستم جداگونه درسته ولی تو واقعیت جواب نمیده. تو Streamhouse هر تغییر بهصورت یه event وارد یه جریان پیوسته میشه و همه از یه تصویر مشترک استفاده میکنن.
طبق گفتهی کانفلوئنت، Streamhouse سه اصل داره: همیشه بهروزه، در حد سرویس production قابل اتکاست و داده رو همونجایی که هست استفاده میکنه، بدون اینکه اول همهچی رو یه جا جمع کنی. جایگزین warehouse یا lakehouse هم نیست و یه لایهی عملیاتی real-time کنارشون اضافه میکنه.
پلتفرم Data Streaming کانفلوئنت حالا پنج ستون داره: Stream (روی Apache Kafka و موتور Kora)، Connect با بیش از ۱۵۰ کانکتور، Process با Apache Flink، Govern برای lineage و schema و دسترسیها، و ستون جدید Query. بخش Query سه راه داره: Tableflow که دادهی استریمی رو به شکل table format باز به lakehouse میده، Real-Time Context Engine که از طریق MCP (یعنی Model Context Protocol، پروتکلی برای وصل کردن داده به ایجنتها) به ایجنتها context میده، و Lightning Tables.
Lightning Tables که روی AWS بهصورت عمومی عرضه شده، یه لایهی فقطخواندنیه که دادهی Kafka رو به جدول تبدیل میکنه و همیشه بهروز نگهش میداره. طبق تستهای داخلی کانفلوئنت، از تولید داده تا قابل کوئری شدنش حدود ۱۰۰ میلیثانیه طول میکشه، تأخیر کوئری ۱۰ تا ۱۰۰ میلیثانیهست و بیش از ۱۰۰۰ کوئری در ثانیه رو جواب میده. یعنی برای سرو کردن داده به اپها دیگه لازم نیست ETL و دیتابیس و کش جدا راه بندازی. از SQL و API مستقیم هم پشتیبانی میکنه و میشه ازش بهعنوان feature store برای یادگیری ماشین استفاده کرد.
Accenture و Extend هم بهعنوان مشتریهایی معرفی شدن که از این معماری استفاده میکنن. Accenture میگه زمان رسیدن به بینش از داده براش از چند ماه به چند روز کم شده.
نکات کلیدی:
- Streamhouse معماری جدید کانفلوئنت برای دادن تصویر زنده و یکپارچه از کسبوکار به ایجنتها و اپهاست.
- Lightning Tables روی AWS در دسترس عمومیه و دادهی Kafka رو به جدولهای قابل کوئری تبدیل میکنه.
- طبق تست داخلی: حدود ۱۰۰ms تا آماده شدن داده، تأخیر کوئری ۱۰ تا ۱۰۰ms و بیش از ۱۰۰۰ کوئری در ثانیه.
- Query پنجمین ستون Data Streaming Platform کنار Stream، Connect، Process و Govern شده.
- Real-Time Context Engine از طریق MCP به ایجنتهای هوش مصنوعی context زنده میده.




