‏نسل جدید Federated Learning گوگل با TEE

گوگل از ۲۰۱۷ از Federated Learning (یعنی آموزش مدل روی داده‌ای که روی گوشی کاربرها می‌مونه و جایی جمع نمی‌شه) برای چیزهایی مثل پیش‌بینی کلمه‌ی بعدی و Smart Compose توی Gboard استفاده می‌کنه. حالا تیم Google Research نسل بعدی این سیستم رو معرفی کرده که روی TEE (یعنی محیط اجرای امن سخت‌افزاری که حتی صاحب سرور هم نمی‌تونه داخلش رو ببینه) ساخته شده. به گفته‌ی نویسنده‌ها، هدف اینه که دیگه نیازی به اعتماد به اپراتور سرور نباشه.

کار این‌طوری پیش می‌ره: گوشی‌ها داده‌ی آموزشی رو خودشون رمز می‌کنن و آپلود می‌کنن. همراهش یه access policy هم تأیید می‌کنن، یعنی فهرست دقیق برنامه‌هایی که اجازه دارن روی این داده کار کنن. این policyها توی Rekor که یه transparency log عمومی هست منتشر می‌شن تا هر کسی بتونه بررسیشون کنه. کلیدهای رمزگشایی دست یه KMS هست که خودش یه کلاستر TEE با پروتکل RAFT هست و فقط به برنامه‌هایی کلید می‌ده که با policy جور باشن.

روی سرور، یه TEE اصلی یه برنامه‌ی Python رو اجرا می‌کنه که حلقه‌ی آموزش رو می‌چرخونه و کارهای موازی رو به TEEهای دیگه می‌سپاره. منطق توزیع‌شده با Federated Language نوشته می‌شه که یه زبان متن‌باز برگرفته از TensorFlow Federated هست. خروجی برای تحلیلگر فقط معیارها و وزن‌های مدل با differential privacy هست (یعنی نویز حساب‌شده‌ای که نمی‌ذاره داده‌ی یه نفر خاص لو بره). کد KMS و پردازش هم از ریپوی متن‌باز Confidential Federated Compute به‌صورت reproducible قابل ساختنه.

یه نکته‌ی جالب sideloading هست: گوگل می‌تونه معماری مدل یا پیش‌پردازش اختصاصیش رو موقع اجرا به برنامه تزریق کنه، به شرطی که همه‌ی منطق مربوط به حریم خصوصی داخل خود برنامه‌ی Python ثابت باشه. یعنی راز تجاری حفظ می‌شه ولی ضمانت حریم خصوصی هنوز قابل بررسیه. نویسنده‌ها البته قبول دارن که TEEهای فعلی محدودیت دارن و حمله‌های side-channel هنوز جای تحقیق داره.

Gboard با این سیستم مدل‌های پیش‌بینی کلمه برای انگلیسی و ژاپنی رو منتشر کرده. چون اول همه‌ی آپلودها جمع می‌شن و بعد آموزش شروع می‌شه، دیگه نوسان روزانه‌ی در دسترس بودن گوشی‌ها روی آموزش اثر نداره. قبلاً آموزش هر مدل ۱ تا ۲ ماه طول می‌کشید ولی حالا محاسبه روی سرور و موازی انجام می‌شه و فقط به تعداد TEE موجود بستگی داره. گوگل می‌گه این راه رو برای آموزش مدل‌های بزرگ‌تر و حتی کارهایی مثل تولید داده‌ی مصنوعی باز می‌کنه.

نکات کلیدی:

• داده فقط داخل TEEهایی که توی access policy اومدن و فقط برای مدت محدودی بعد از آپلود رمزگشایی می‌شه
• access policyها توی transparency log عمومی Rekor منتشر می‌شن و حسابرس‌های بیرونی می‌تونن بررسیشون کنن
• KMS یه کلاستر TEE با پروتکل RAFT هست و کد سیستم از ریپوی Confidential Federated Compute قابل ساختنه
• آموزش مدل‌ها که قبلاً ۱ تا ۲ ماه طول می‌کشید حالا خیلی سریع‌تر شده و فقط به ظرفیت TEE محدوده
• Gboard مدل‌های پیش‌بینی کلمه‌ی انگلیسی و ژاپنی رو با این سیستم منتشر کرده
• محاسبه‌ی gradient از گوشی به سرور منتقل شده و این راه آموزش مدل‌های بزرگ‌تر رو باز می‌کنه