کانکتورهای تازهٔ BigQuery Data Transfer Service
گوگلخلاصهٔ کاملتر
تو بلاگ گوگل کلاد اومده که BigQuery Data Transfer Service یا همون DTS، یه سرویس کاملاً مدیریتشده و بدون کدنویسیه که ریختن داده تو BigQuery رو خودکار میکنه. نویسندهها میگن خیلی از شرکتها هفتهای بیشتر از ۱۰۰ ساعت رو صرف ساخت و تعمیر پایپلاینهای شکنندهٔ ETL میکنن و کار DTS اینه که همین بار مهندسی رو برداره.
مهمترین بخش خبر، لیست کانکتورهای جدیده. برای دیتابیسهای سازمانی، SQL Server بهصورت Preview و PostgreSQL و MySQL بهشکل GA اضافه شدن که هر دو حالت انتقال کامل و افزایشی رو پشتیبانی میکنن و از محیط on-premise و CloudSQL و ابرهای دیگه هم داده میگیرن. تو حوزهٔ فروش و مارکتینگ، شاپیفای، Klaviyo، HubSpot و Mailchimp بهصورت Preview اومدن و کانکتور مهاجرت از Snowflake به GA رسیده.
دو قابلیت دیگه هم جالبن: حالا میشه داده رو از Google Cloud Storage، Amazon S3 و Azure Blob Storage مستقیم تو جدولهای مدیریتشدهٔ Apache Iceberg ریخت، پس سازگاری چندابری با بقیهٔ موتورهای کوئری حفظ میشه. کنارش یه سرور MCP مدیریتشده (Preview) اومده که به اپها و ایجنتهای هوش مصنوعی اجازه میده خودشون منابع داده رو کشف و انتقالها رو تنظیم و اجرا کنن.
به گفتهٔ گوگل، ورود داده از همهٔ منابع خود گوگل (بهجز Google Play) و همینطور Amazon S3، Azure Blob Storage، Redshift و Teradata رایگانه و برای منابع SaaS شخص ثالث، هزینهٔ محاسباتی کمتر از ۶ سنت به ازای هر slot-hour حساب میشه. چون قیمت بهجای تعداد رکورد به مصرف محاسباتی بستگی داره، جابهجایی حجمهای بزرگ هم مقرونبهصرفه میمونه.
سرویس با Cloud IAM یکی شده و انتقالها بهطور خودکار امنیت سطح ستون و سطر و کلیدهای رمزنگاری مدیریتشدهٔ مقصد (CMEK) رو به ارث میبرن، پس نیازی به سرور واسط نیست. گوگل هم براش SLA با آپتایم ماهانهٔ حداقل ۹۹.۹۹ درصد تعریف کرده. تیم محصول آخر مطلب از کاربرها پرسیده که دوست دارن کانکتور بعدی برای چه منبعی ساخته بشه.
نکات کلیدی:
- SQL Server بهصورت Preview و PostgreSQL و MySQL بهشکل GA، با انتقال کامل و افزایشی
- کانکتورهای شاپیفای، Klaviyo، HubSpot و Mailchimp برای دادههای فروش و مارکتینگ
- ریختن مستقیم داده تو جدولهای مدیریتشدهٔ Apache Iceberg و سرور MCP برای ایجنتها
- ورود داده از منابع گوگل، S3، Azure Blob، Redshift و Teradata بدون هزینه
- یکپارچگی با Cloud IAM و SLA با آپتایم ۹۹.۹۹ درصد
