‏اکوسیستم استوریج Databricks برای داده‌ی محلی

Databricks می‌گه سال‌ها استراتژی دادهٔ سازمانی ساده بود: همه‌چیز رو به کلاد ببر و حاکمیت داده هم دنبالش می‌آد. ولی به گفتهٔ اون‌ها، پیشرفته‌ترین شرکت‌ها حالا صریح می‌گن که نمی‌تونن و نمی‌خوان همهٔ داده‌شونو به کلاد ببرن. مثال‌هاش هم واقعی‌ان: سازندهٔ نیمه‌هادی که مدل‌هاشو روی دادهٔ مهندسیِ طبقه‌بندی‌شده آموزش می‌ده که نباید از محل خارج شه، یا بانک‌هایی که استراتژی «Hybrid Forever» گرفتن.

نویسنده این رو یه تغییر ساختاری می‌دونه: گذار از «همه‌چیز رو منتقل کن» به «همه‌چیز رو حاکمیت کن». چند عامل پشت این تغییره: قوانین حاکمیت و مقررات داده مثل GDPR، HIPAA و NIS2 که گاهی انتقال به کلاد رو قانوناً ممنوع می‌کنن؛ data gravity و هزینه، یعنی تو مقیاس پتابایت و اگزابایت، هزینهٔ egress و انتقال اصلاً نمی‌صرفه و بعضی شرکت‌ها دارن کارها رو از کلاد به on-premise برمی‌گردونن؛ نیاز به تأخیر کم برای کارهای لبه (edge)؛ و حجم عظیم «داده‌ی تاریک» (dark data) که ارزش هوش مصنوعی داره ولی حاکمیت بهش نرسیده.