‏Streamhouse کانفلوئنت؛ داده‌ی زنده برای ایجنت‌های هوش مصنوعی

کانفلوئنت (Confluent)، شرکت پشت سرویس‌های مبتنی بر Apache Kafka که حالا زیرمجموعه‌ی IBM هست، یه معماری داده‌ی جدید به اسم Streamhouse معرفی کرده. همزمان قابلیت Lightning Tables روی AWS به‌صورت عمومی عرضه شده و با این کار پلتفرم Data Streaming این شرکت پنج ستونش کامل شده: Stream، Connect، Process، Govern و حالا Query.

به گفته‌ی کانفلوئنت، data lake و warehouse و lakehouse بیشتر برای گزارش‌گیری و کارهای batch (یعنی پردازش دسته‌ای داده با فاصله‌ی زمانی) ساخته شدن. حالا که ایجنت‌های هوش مصنوعی کارهای بیشتری رو خودشون انجام می‌دن، باید از سیستم‌هایی داده بگیرن که هر کدوم یه وقتی آپدیت می‌شن. نتیجه اینه که ایجنت ممکنه روی اطلاعات قدیمی یا متناقض تصمیم بگیره و اون اشتباه به بقیه‌ی فرایندها هم سرایت کنه.

مثال خود کانفلوئنت یه پرواز کنسل‌شده‌ست: سیستم عملیات پرواز جای هواپیما رو می‌دونه، سیستم زمان‌بندی ساعت حرکت رو و سیستم رزرو صندلی‌های خالی رو. اگه این‌ها هم‌زمان آپدیت نشن، ایجنت رزرو مجدد ممکنه برنامه‌ای بچینه که صندلی‌ش خالیه ولی هواپیما به پرواز اتصالی مسافر نمی‌رسه. تو Streamhouse هر تغییری به‌صورت یه رویداد تو یه جریان پیوسته می‌ره و یه تصویر مشترک و به‌روز می‌سازه که همه ازش استفاده می‌کنن.

Streamhouse سه اصل داره: داده‌ی همیشه به‌روز، کیفیت در حد سیستم‌های حیاتی و غیرمتمرکز بودن، یعنی داده رو همون‌جایی که هست استفاده می‌کنه و اول مجبور به یکی کردنش نیست. جایگزین warehouse و lakehouse هم نیست و یه لایه‌ی real-time کنارشون اضافه می‌کنه. لایه‌ی Query هم سه راه داره: Tableflow برای رسوندن داده به lakehouseها با فرمت‌های جدولی باز، Real-Time Context Engine برای دادن داده به ایجنت‌ها از طریق MCP، و Lightning Tables برای اپلیکیشن‌ها.

Lightning Tables یه لایه‌ی فقط‌خواندنیه که داده‌ی Kafka رو به جدول تبدیل و همیشه به‌روز نگه می‌داره. طبق تست‌های داخلی کانفلوئنت، از تولید داده تا قابل کوئری شدنش حدود ۱۰۰ میلی‌ثانیه طول می‌کشه، تأخیر کوئری ۱۰ تا ۱۰۰ میلی‌ثانیه‌ست و بیش از ۱۰۰۰ کوئری در ثانیه رو جواب می‌ده. از طریق SQL و API مستقیم کوئری می‌شه و دیگه لازم نیست برای سرو کردن داده، ETL و دیتابیس و کش جدا راه بندازی. Accenture هم که از این معماری استفاده می‌کنه می‌گه زمان رسیدن به تحلیل داده‌هاش از چند ماه به چند روز کم شده.

نکات کلیدی:

• Streamhouse معماری‌ای برای دادن وضعیت لحظه‌ای کسب‌وکار به ایجنت‌ها، اپ‌ها و تحلیل‌هاست.
• Lightning Tables حالا روی AWS به‌صورت عمومی در دسترسه.
• تأخیر کوئری در Lightning Tables بین ۱۰ تا ۱۰۰ میلی‌ثانیه و ظرفیتش بیش از ۱۰۰۰ کوئری در ثانیه‌ست (تست داخلی).
• لایه‌ی Process روی Apache Flink و لایه‌ی Stream روی Kafka و موتور Kora ساخته شده.
• بخش Connect بیش از ۱۵۰ کانکتور مدیریت‌شده داره.