ELT دوباره داره به ابزارهای تخصصی برمیگرده
خلاصهٔ کاملتر
به گفتهٔ هوگو لو، بعد از یه دوره ادغام و بزرگشدن پلتفرمهای همهکاره، بازار داره دوباره به سمت best-of-breed یعنی ابزار تخصصی برای هر کار برمیگرده. نویسنده میگه تیمهای داده کوچیکتر شدن ولی انتظار ازشون بیشتره، و نکتهٔ تازه اینه که ساخت کانکتور API دیگه سخت نیست چون AI میتونه کدشو بنویسه. پس چیزی که واقعاً کم مونده خود انتقال داده نیست، زیرساخت و هماهنگکردن کارهاست.
نویسنده معتقده دستهبندی قدیمی «مدرن دیتا استک» دیگه جواب نمیده و best-of-breed امروز سه تیکهست: جابهجایی و رپلیکیشن داده، ذخیرهسازی و محاسبات، و یه کنترلپلین که ارکستریشن، مشاهدهپذیری، متادیتا و مدیریت حادثه رو یکجا داشته باشه. به نظر او بزرگترین تیکهٔ گمشده همین کنترلپلینه، چون بیشترین وقت تیمها صرف جوابدادن به «دادهٔ من کجاست» و «چرا تازه نیست» میشه.
یه نمونهٔ واقعی هم میآره: رپلیکیشن CDC از Postgres به Snowflake با Estuary که پیوسته کار میکنه، و کنارش یه پایپلاین روزانه شامل dbt build و چهار تست کیفیت داده. پایپلاین استریمی هیچوقت تموم نمیشه و کد خروج نداره، پس کار روزانه راه اصولیای نداره بفهمه جدولی که میخونه قابلاعتماده یا نه. به گفتهٔ نویسنده استریمینگ نیاز به ارکستریشن رو کم میکنه ولی نیاز به مشاهدهپذیری رو بالا میبره.
راهحلی که پیشنهاد میده یه تسک سلامتسنجیه که بهجای پینگ ساده، متریکهای OpenMetrics مثل شمار خطاهای ثبتشده و تعداد تراکنش و تأخیر انتشار رو میخونه و دلتاشون رو با دفعهٔ قبل مقایسه میکنه. نکتهٔ اصلیش اینه که چک باید سهحالته باشه نه دوحالته: WARNING اجازه میده کار پاییندستی ادامه بده و FAILED جلوش رو میگیره، چون زیرساخت واقعی بیشتر عمرش یه جایی بین سالم و خرابه. نویسنده اینو یه پیششرط میدونه، درست قرینهٔ تستهای کیفیت که پسشرطن.
بخش جالب دیگه اینه که کل این ساخت رو ایجنتهای AI انجام دادن و ۹ بار اجرا لازم شد تا سبز بشه. به گفتهٔ نویسنده درس اصلی این نبود که AI خوب YAML مینویسه، اتفاقاً پیشنویس اولش شش خطای اسکیما داشت، بلکه این بود که پیام خطای دقیق و اعتبارسنجی رایگان و سریع فرق میذاره بین APIای که ایجنت میتونه باهاش جلو بره و APIای که نمیتونه. تنها جایی که آدم لازم شد، ساخت کانکشنها و دادن کلیدهای دسترسی بود.
نکات کلیدی:
- ساخت کانکتور با AI ساده شده، پس مزیت رقابتی رفته سراغ زیرساخت و ارکستریشن
- best-of-breed جدید سه لایهست: انتقال داده، ذخیرهسازی و محاسبات، و کنترلپلین
- استریمینگ و CDC نیاز به زمانبندی رو کم میکنن ولی نیاز به مانیتورینگ رو زیاد
- سلامتسنجی باید متریک بخونه نه liveness، و سه حالت داشته باشه تا هم مزاحم نشه هم جلوی دادهٔ بیات رو بگیره
- برای اینکه ایجنتها بتونن کار کنن، همهچی باید as-code یا از طریق API قابلکنترل باشه و خطاها دقیق باشن
