گوگل ABFS رو اوپنسورس کرد: چکاوت اندروید زیر ۸ ثانیه
خلاصهٔ کاملتر
کد اندروید خیلی بزرگه: نسخهٔ متنباز Android 17 شامل 1,084 مخزن گیت و حدود 1.62 میلیون فایله و یه workspace بیلدشده حدود 300 گیگابایت جا میگیره. تیم ABFS گوگل میگه تا حالا گرفتن کد AOSP بیشتر از ۳۰ دقیقه و بیلدش بیشتر از یک ساعت طول میکشید. این کندی هم برای آدمها دردسره هم برای ایجنتهای هوش مصنوعی که باید سریع workspace بسازن و تست کنن.
راهحلشون ABFS (Another Build File Service) هست که حالا روی GitHub اوپنسورس شده. ABFS یه مجموعهٔ کاملـه: یه ماژول کرنل لینوکس، چندتا daemon سمت کاربر و زیرساخت سمت سرور. همهجای این سیستم از content-addressability استفاده میکنه، یعنی هر فایل با هش محتواش شناخته میشه نه با اسم و زمانش. اینطوری کد، workspaceها و خروجی بیلدها lazy-load و کش میشن.
قلب ماجرا CASFS هست، یه ماژول کرنل که هشهای SHA گیت رو روی فایلها میذاره. موقع چکاوت فقط متادیتای پوشهها و هشها میاد و محتوای هر فایل اولین باری که خونده بشه دانلود میشه. چون CASFS خودش با مدل آبجکت گیت کار میکنه، دستورهای معمولی git و repo بدون تغییر کار میکنن.
مشکل دیگه این بود که Ninja (ابزاری که گراف بیلد اندروید رو اجرا میکنه) بر اساس timestamp تصمیم میگیره و وابستگیهای اعلامنشده باعث خروجیهای کهنه میشن. Ninja-go جاش یه کش دومرحلهای گذاشته: اول با هش دستور و ورودیهای اعلامشده دنبال نتیجهٔ قبلی از CI یا بقیه میگرده. بعد لیست فایلهایی که اون مرحله واقعاً خونده (به اسم read patch) رو با وضعیت فعلی چک میکنه. اگه حتی یه وابستگی پنهان فرق کرده باشه، نتیجه رد میشه و مرحله دوباره اجرا میشه. یعنی سرعت میاد بدون اینکه درستیِ بیلد تمیز از دست بره.
طبق بنچمارکها روی یه VM با ۶۴ هسته، چکاوت از حدود ۳۶ دقیقه به زیر ۸ ثانیه و بیلد کامل از حدود ۸۰ دقیقه به کمی بیشتر از ۲ دقیقه رسیده. چون همهچیز lazy و کششدهست، میشه چندتا workspace اندروید رو کنار هم روی یه ماشین mount کرد:
$ abfs mount -b android-latest-release /ws/a17
$ abfs mount -b android16-release /ws/a16
$ abfs mount -b android15-release /ws/a15تو دموی گوگل یه ایجنت یه باگ رو تو system/libbase درست میکنه و بعد ۴ ایجنت موازی همون فیکس رو روی ۴ نسخهٔ دیگهٔ AOSP بکپورت، بیلد و تست میکنن. ABFS فقط مخصوص اندروید نیست؛ یه نمونهٔ اولیهٔ اتصال به Bazel هم وجود داره و Chromium و Android Common Kernel دارن سازگاری باهاش رو بررسی میکنن.
نکات کلیدی:
- چکاوت اندروید از حدود ۳۶ دقیقه به زیر ۸ ثانیه رسیده
- بیلد کامل از حدود ۸۰ دقیقه به کمی بیشتر از ۲ دقیقه رسیده
- کش مشترک تا ۱۰۰٪ از اکشنهای بیلد رو بین CI و توسعهدهندهها دوباره استفاده میکنه
- CASFS یه ماژول کرنل لینوکسه که فایلها رو فقط موقع اولین خوندن دانلود میکنه
- Ninja-go با کش دومرحلهای جلوی خروجی کهنه از وابستگیهای پنهان رو میگیره
- نسخههای AOSP قبل از Android 17 برای کار با ABFS به یه کم patch نیاز دارن




