‏StarRocks روی EKS: مقیاس‌پذیری OLAP با KEDA و Karpenter

این پست از وبلاگ AWS رو تیم WW Stores FinTech آمازون نوشته و تجربهٔ ساختن یک پلتفرم تحلیل مالی رو روی Kubernetes تعریف می‌کنه. به گفتهٔ نویسنده‌ها، نیازشون سه‌تا بود که با هم جور درنمیومد: پاسخ زیر چند ثانیه روی ترابایت‌ها داده، صدها کاربر همزمان توی پیک، و مقیاس‌پذیری افقی بدون جابه‌جایی پردردسر داده. سیستم‌های قبلی‌شون فقط یکی دوتای این‌ها رو می‌تونستن همزمان بدن.

برای ارزیابی، به‌جای بنچمارک‌های عمومی یک Query Complexity Framework تعریف کردن که الگوهای واقعی کوئری مالی رو پوشش می‌ده: فیلتر روی ستون‌های high-cardinality، تجمیع (GROUP BY) سنگین، جوین روی بیش از سه جدول، عملیات pivot و پیمایش سلسله‌مراتبی. دو کاندیدای OLAP یعنی StarRocks و ClickHouse رو روی زیرساخت یکسان تست کردن.