‏امنیت سخت‌افزاری انویدیا برای هوش مصنوعی

نویسنده‌ی این پست انویدیا می‌گه پذیرش هوش مصنوعی تو سازمان‌ها معمولاً با نگرانی درباره‌ی حریم خصوصی و امنیت داده گیر می‌کنه، مخصوصاً وقتی داده در حال استفاده‌ست، یعنی موقع inference. NVIDIA Confidential Computing یا همون CC برای همین ساخته شده تا داده و مدل رو موقع اجرای فعال هم محافظت کنه.

نکته‌ی مهم اینه که CC یه لایه‌ی امنیتیه که از سیلیکون تا interconnect و نرم‌افزار سیستم رو پوشش می‌ده. پایه‌ی کار hardware root of trust هست: GPUهای Blackwell مثل RTX PRO 6000 و HGX B200 و B300 یه کلید امضای خصوصی دارن که موقع تولید تو تراشه fuse می‌شه و هیچ‌وقت در معرض نرم‌افزار، firmware یا هاست قرار نمی‌گیره. همین کلید پایه‌ی زنجیره‌ی attestation هست.

قبل از اینکه یه workload محرمانه هر رازی (secret) بگیره، باید از یه مرحله‌ی remote attestation رد شه. سرویس NRAS یه بسته‌ی شواهد امضاشده رو، که گزارش سخت‌افزار GPU به‌علاوه‌ی اندازه‌گیری‌های CPU TEE (مثل AMD SEV-SNP یا Intel TDX) هست، با یه مرجع سالم (RIM) مقایسه می‌کنه. تازه بعد از اینکه ماشین مجازی محرمانه (CVM) تأیید شد، کلیدهای رمزگشایی مدل بهش داده می‌شه. این handshake معمولاً فقط یه بار موقع استارت اتفاق می‌افته و به تک‌تک درخواست‌های inference تأخیر اضافه نمی‌کنه.

نویسنده می‌گه افت کارایی CC از دو جا می‌آد: تأخیر ثبت کار امن (به‌خاطر سربار رمزنگاری و kernel launch، که واحدهای کوچیک کار بیشتر ضربه می‌خورن) و کاهش پهنای باند انتقال بین CPU و GPU. راه‌حلشون اینه که کار بیشتری تو هر launch انجام بدن تا سربار سرشکن شه.

چند نوآوری هم برای بهینه‌سازی معرفی شده: FlashInfer تایمرها رو تو حالت CC با رجیستر تایمر global خود GPU عوض می‌کنه تا autotuner دقیق کار کنه؛ SGLang خوندن token هر step رو از مسیر بحرانی scheduler جدا می‌کنه تا overlap محاسبه و کپی برگرده؛ و پشتیبانی از CUDA graph به‌صورت piecewise سربار kernel launch رو کم می‌کنه.

تو بنچمارک روی مدل Qwen 3.5 با دقت FP8 روی HGX B300، انویدیا می‌گه با روشن‌بودن CC، سربار throughput و زمان هر توکن خروجی تو حالت پایدار خیلی کم بوده. جمع‌بندی اینه که می‌شه workload حساس رو امن کرد و همزمان با قوانینی مثل HIPAA و GDPR سازگار موند، بدون اینکه کارایی فدا شه.

نکات کلیدی:

• CC داده‌ی سازمان و وزن مدل رو حتی موقع inference محافظت می‌کنه
• پایه‌ی کار یه کلید امضای مخفیه که موقع تولید تو GPUهای Blackwell fuse می‌شه
• attestation فقط یه بار موقع استارت انجام می‌شه و به هر درخواست تأخیر اضافه نمی‌کنه
• بهینه‌سازی‌هایی مثل FlashInfer و تغییرات SGLang سربار حالت CC رو کم می‌کنن
• ادعای اصلی: کارایی تا حدود ۹۸٪ حالت بدون CC حفظ می‌شه