‏ستون FILE دیتابریکس: ویدیو و سند داخل جدول

دیتابریکس تو بلاگ رسمی‌اش از بتای یه نوع ستون تازه به اسم FILE رونمایی کرده. ایدهٔ اصلی اینه که دادهٔ بدون ساختار — قرارداد، عکس محصول، فایل صوتی تماس‌ها و ویدیو — دیگه لازم نباشه تو یه سیستم جدا زندگی کنه؛ همون داخل جدول به‌عنوان یه ستونِ حکومت‌پذیر می‌شینه و با SQL و UDFهای پایتون مثل هر ستون دیگه‌ای باهاش کار می‌کنی.

به گفتهٔ نویسنده، مشکل روش رایج امروز اینه که تیم‌ها یه رشتهٔ URL با مسیر فایل رو تو جدول ذخیره می‌کنن. اون مسیر با یه سیستم مجوز کاملاً جدا و در سطح پوشه کنترل می‌شه، پس مجبوری دو مدل دسترسی رو برای یه دیتاست نگه داری — و فیلتری که یه مسیر رو محافظت می‌کنه، هیچ کاری با خود ویدیوی ته اون مسیر نداره.

FILE به Unity Catalog وصل شده، پس فایل‌ها هم با کنترل دسترسی سطر و ستون و همین‌طور ABAC (کنترل دسترسی مبتنی بر ویژگی) محافظت می‌شن. مسئلهٔ چرخهٔ عمر هم حل می‌شه: اگه کسی فایل رو مستقیم از آبجکت استوریج پاک کنه، جدول خبر نداره و یه اشاره‌گر بی‌مقصد باقی می‌مونه؛ ولی با FILE عمر فایل به ردیفش گره می‌خوره و حذف ردیف یعنی حذف باینری — که درخواست‌های «حق فراموش‌شدن» GDPR رو خیلی ساده می‌کنه.

برای نشون دادن کاربرد، نویسنده مثال یه شرکت خودروی خودران رو می‌زنه که مدیرعاملش می‌پرسه چرا ماشین‌ها بی‌دلیل توقف می‌کنن. ویدیوهای دوربین داشبورد تو یه ستون footage از نوع FILE می‌شینن، یه UDF از هر کلیپ یه فریم برمی‌داره و می‌ریزه تو یه ستون FILE جدید، و یه مدل تشخیص شیء ستون hazard رو پر می‌کنه که مشخص می‌کنه جلوی ماشین واقعاً مانعی بوده یا نه. بعد یه کوئری همین ستون رو به دیتای سفر جوین می‌کنه و همهٔ توقف‌های بی‌دلیل رو بیرون می‌کشه.

کلید کارایی اینه که ستون FILE فقط یه ارجاع سبک نگه می‌داره و موتور دقیقاً همون مرحله‌ای که لازمه بایت‌های واقعی رو می‌خونه — برخلاف ذخیرهٔ باینری خام تو جدول که هر عملیات اون حجم رو تو حافظه جابه‌جا می‌کنه و کوئری رو کند می‌کنه. دیتابریکس می‌گه داره پشتیبانی از FILE رو با همکاری جامعه مستقیم به Parquet، Delta Lake، Apache Iceberg و Apache Spark اضافه می‌کنه تا دیتا باز و قابل حمل بمونه.

از نظر ابزار هم FILE با کانکتورهای Lakeflow به منابعی مثل SharePoint و Google Drive وصل می‌شه، یا داده رو همون‌جایی که هست ارجاع می‌ده بدون جابه‌جایی. با Spark Declarative Pipelines پردازش افزایشی انجام می‌شه — که مهمه، چون هر بار پردازش دوبارهٔ یه سند یعنی یه فراخوانی گرون مدل — و توابعی مثل AI_PARSE_DOCUMENT و AI_QUERY مستقیم روی همین ستون اجرا می‌شن. FILE فعلاً تو مرحلهٔ بتاست.

نکات کلیدی:

• FILE یه نوع ستون جدید (بتا) برای نگه‌داری بومی سند، عکس، صوت و ویدیو داخل جدول‌هاست
• همون کنترل دسترسی ریزدانهٔ Unity Catalog، شامل سطر، ستون و ABAC، روی خود فایل‌ها اعمال می‌شه
• حذف ردیف باعث حذف باینری فایل می‌شه؛ نه فایل یتیم می‌مونه، نه شکاف GDPR
• ستون فقط اشاره‌گر سبک نگه می‌داره، پس کار با گیگابایت‌ها ویدیو کوئری رو کند نمی‌کنه
• پشتیبانی داره به‌صورت متن‌باز به Parquet، Delta Lake، Iceberg و Spark اضافه می‌شه تا دیتا قابل حمل بمونه