استوریج جدید هاگینگ‌فیس برای تیم‌های هوش مصنوعی
هوش مصنوعیخلاصهٔ کامل‌تر
هاگینگ‌فیس سرویس تازه‌ای به اسم Storage رونمایی کرده که تو معرفی‌ش اومده مخصوص تیم‌های هوش مصنوعیه: جایی برای نگه‌داشتن مدل‌ها، دیتاست‌ها و آرتیفکت‌ها با یه مدل قیمت‌گذاری سادهٔ مبتنی بر هر ترابایت. CDN هم داخلش گنجونده شده، پس توزیع و دانلود فایل‌ها یه سرویس جدا نمی‌خواد.
نکتهٔ اصلی‌ش اینه که از منطق Git فاصله گرفته. به‌جای commit و push و سربار مخزن، یه باکت می‌سازی و پوشه‌ت رو مستقیم sync می‌کنی؛ آپدیت آبجکت‌ها هم سریع انجام میشه. کل جریان کار حول دیتاست، چک‌پوینت و آرتیفکت مدل چیده شده، نه حول ورژن‌کنترل کد.
hf buckets create acme-corp/training-data
hf sync ./checkpoints/ hf://buckets/acme-corp/training-dataقلب ماجرا فناوری Xet ـه. Xet با روشی به اسم content-defined chunking فایل رو در سطح بایت به تکه‌های کوچیک می‌شکنه و اون تکه‌ها رو تو کل باکت دیدآپلیکیت می‌کنه. یعنی وقتی مدلت رو دوباره ترین می‌کنی و فقط ۵٪ وزن‌ها عوض شده، همون ۵٪ دوباره بالا می‌ره و بقیه از قبل موجوده.
به گفتهٔ هاگینگ‌فیس این یعنی حدود ۴ برابر دادهٔ کمتر تو هر آپلود، که با ورک‌لودهای واقعی سنجیده شده. تو نمونه‌ای که خودشون نشون می‌دن، از ۲.۴ ترابایت فایل محلی حدود ۶۲٪ دیدآپ شده و فقط ۹۱۲ گیگ آپلود شده. نگه‌داشتن نسخهٔ خام و پردازش‌شدهٔ یه دیتاست هم فقط یک‌بار ذخیره و یک‌بار حساب میشه، البته این یکی به پلن Enterprise یا Enterprise Plus نیاز داره.
نکات کلیدی:
- قیمت‌گذاری بر اساس ترابایت با CDN داخلی
- بدون سربار Git؛ ساخت باکت و sync مستقیم فایل‌ها
- Xet با چانک‌بندی محتوایی فقط بخش تغییرکرده رو آپلود می‌کنه
- ادعای حدود ۴ برابر دادهٔ کمتر در هر آپلود
- ذخیرهٔ یک‌بارهٔ دیتاست خام و پردازش‌شده فقط تو پلن‌های Enterprise
