Blobasaur: ذخیرهسازی بلاب توزیعشده روی SQLite
خلاصهٔ کاملتر
تو این پست، تیم مهندسی Zerodha توضیح میده چطور Blobasaur رو ساختن. پلتفرم معاملاتی Kite حدود ۲۰ میلیون کاربر داره که چیدمان چارت، اندیکاتورها و ورکاسپیسهاشون رو ذخیره میکنن. اینها blobهای JSON هستن (یعنی دادهی خامی که دیتابیس داخلش رو نمیفهمه) از چند کیلوبایت تا چند مگابایت. قبلاً از SSDB استفاده میکردن، ولی پروژه رها شده بود، تکنودی بود و مجبورشون کرده بود سایز blob رو به ۱ مگابایت محدود کنن.
نویسنده میگه گزینههای زیادی رو بررسی کردن: ScyllaDB برای blobهای بزرگ کند بود، PostgreSQL با BYTEA نه سریع بود نه از نظر دیسک بهینه، SeaweedFS برای بازنویسیهای پشتسرهم دیسک رو پر میکرد و TTL برای هر blob نداشت، و S3 هم تأخیر بالا و هزینهی سنگین درخواست داشت. آخرش سراغ SQLite رفتن که برای فایلهای کوچیک تا ۳۵٪ از خود فایلسیستم سریعتره، و چون داده رو قبل از نوشتن فشرده میکنن، ۹۹٪ مقادیر زیر ۱۰۰ کیلوبایت میمونن. Rust رو هم به Go ترجیح دادن چون درایور SQLite تو Go به CGo نیاز داره و فشار GC رو بالا میبره.
مشکل SQLite اینه که تو حالت WAL (یعنی Write-Ahead Logging که خوندنهای همزمان رو ممکن میکنه) فقط یه نویسنده در یه لحظه مجازه. Blobasaur داده رو با consistent hashing بین چندتا فایل SQLite به اسم shard پخش میکنه. هر shard یه writer اختصاصی داره که چندتا نوشتن رو جمع میکنه و تو یه تراکنش commit میکنه. تو بنچمارک، ۱۶ shard نسبت به ۱ shard توان نوشتن رو ۳.۳ برابر کرد (از ۷,۷۴۰ به ۲۵,۳۲۴ عملیات در ثانیه).
ساختار هر shard یه جدول سادهست و انقضا هم تو همون ردیف ذخیره میشه:
CREATE TABLE IF NOT EXISTS blobs (
key TEXT PRIMARY KEY,
data BLOB,
expires_at INTEGER,
version INTEGER NOT NULL DEFAULT 0
);فشردهسازی با zstd متوسط payload رو از ۶۳.۶ به ۵.۵ کیلوبایت (حدود ۱۱ برابر) کم میکنه. برای مقیاس بین چند ماشین، Blobasaur پروتکل Redis Cluster رو پیاده کرده: کلید با CRC16 به یکی از ۱۶۳۸۴ اسلات و یه نود میرسه، بعد داخل نود به یه shard. فعلاً تقسیم اسلاتها ثابته و failover خودکار نداره. از نظر durability هم با PRAGMA synchronous = NORMAL کار میکنن، یعنی موقع قطع برق ممکنه آخرین نوشتنها از دست برن، که برای تنظیمات UI قابل قبوله.
نویسنده چندتا درس هم تعریف میکنه: پاککردن ردیفها فایل SQLite رو کوچیک نمیکنه و باید auto_vacuum = INCREMENTAL فعال کرد. تو حالت async_write باید حذفها هم تو حافظه ثبت بشن تا GET بعد از DEL مقدار قدیمی برنگردونه. پاکسازی TTL هم باید از همون writer و در تکههای ۱,۰۰۰ ردیفی رد بشه، وگرنه p99 تا ۵۰ میلیثانیه بالا میپره. الان یه کلاستر سهنودی (۴ vCPU و ۸ گیگ رم) تو کل ساعت معاملات p99 حدود ۲ میلیثانیه داره.
نکات کلیدی:
- Blobasaur با Rust نوشته شده، پروتکل Redis و Redis Cluster رو پشتیبانی میکنه و با مجوز AGPLv3 متنبازه.
- داده بین چندتا فایل SQLite پخش میشه؛ ۱۶ shard توان نوشتن رو ۳.۳ برابر کرد.
- فشردهسازی zstd حجم متوسط payload رو حدود ۱۱ برابر کم کرد.
- slotها فعلاً ثابت هستن و rebalancing زنده و failover خودکار هنوز پیاده نشده.
- مهاجرت از SSDB با یه ماه dual-write بدون هیچ اختلافی انجام شد.
- تو production، p99 همهی دستورها حدود ۲ میلیثانیه و p50 بین ۲۵۰ تا ۵۵۰ میکروثانیهست.




