‏سیری هوشمند اپل و کابوس حریم خصوصی

اپل تازه اعلام کرده می‌خواد سیری رو با مدل‌های هوش مصنوعی قوی‌تر کنه و طرف قرارداد هم گوگله. به گفته‌ی این مقاله، سیری قراره از ترکیبی از مدل‌های Gemini گوگل به‌علاوه‌ی سیستم Confidential Inference گوگل و Private Cloud Compute (به اختصار PCC) خودِ اپل استفاده کنه تا هم درخواست‌های شما رو پردازش کنه و هم داده‌های خصوصی روی دستگاه‌تون رو بخونه. منطق بازاریابی اپل اینه که گوشی شما context داره — یعنی برنامه‌ها، ایمیل‌ها و پیام‌هاتون — پس یه سیری هوشمند می‌تونه جواب‌های خیلی کاربردی‌تری بده.

نویسنده، متیو گرین که استاد رمزنگاری دانشگاه جانز هاپکینزه، توضیح می‌ده PCC چطور کار می‌کنه: داده از گوشی تا یه سرور اختصاصی روی سخت‌افزار اپل رمزنگاری می‌شه، پردازش بدون نگه‌داری حالت (stateless) انجام می‌شه و بعد از جواب پاک می‌شه، طوری که حتی خود اپل هم نتونه ورودی رو ببینه. اون قبول داره این طراحی احتمالاً جلوی دسترسی خود گوگل و اپل به داده‌هاتون رو می‌گیره، که نگرانی اصلی بیشتر آدماست.

پس مشکل کجاست؟ به گفته‌ی نویسنده، یه عاملِ هوشمند که فقط inference بکنه مثل دستیاریه که تو یه اتاق بدون پنجره و بدون اینترنت حبس شده؛ امن هست ولی تقریباً بی‌فایده‌ست. یه دستیار واقعاً مفید باید به اینترنت وصل شه، تو موتورهای جست‌وجو یا حتی مدل‌های دیگه سرچ کنه، دعوت‌نامه‌ی تقویم بسازه و پیام بفرسته. همین که عامل با دنیای بیرون حرف می‌زنه، تضمین‌های قشنگ PCC دیگه به کار نمیان، چون حالا حریم خصوصی به قضاوت خودِ عامل بستگی داره، نه به طراحی سخت‌افزار.

نویسنده با مثال یه شام کاری توضیح می‌ده که عامل ممکنه یه مشت حقیقت خصوصی رو جمع کنه و همه رو برای یه مدل قوی‌تر و عمومی مثل Gemini یا ChatGPT بفرسته تا رستوران پیدا کنه. این کار خیلی کارآمده ولی حجم زیادی از داده‌ی شخصی رو لو می‌ده، حتی چیزایی که اصلاً لازم نبوده. پس پردازش خصوصی می‌تونه بی‌نقص کار کنه و بازم داده‌ی باارزش به بیرون درز کنه.

اینجا نویسنده سه تا دشمن رو از هم جدا می‌کنه. اولی خودِ شرکت‌ها و گردانندگان موتورهای جست‌وجو هستن که می‌تونن از این داده‌ها برای تبلیغات هدفمند پول دربیارن. دومی حمله‌ی تزریق پرامپت (prompt injection) ـه: گرین به مفهومی به اسم the lethal trifecta از سایمون ویلیسون اشاره می‌کنه — ترکیب دسترسی به داده‌ی خصوصی، پردازش محتوای نامعتمد (مثل ایمیل و پیام ورودی)، و توانایی ارتباط با بیرون. این سه تا با هم شرایط کاملی برای سرقت داده می‌سازن، چون یه مهاجم از راه دور می‌تونه عامل رو فریب بده تا اطلاعات محرمانه رو بفرسته. اون یادآوری می‌کنه OpenAI همین تازگی یه «حالت قفل» معرفی کرده که ChatGPT رو از جست‌وجوی وب محروم می‌کنه تا همین خطر کم شه.

سومین دشمن دولته. نویسنده می‌گه وقتی یه عامل به همه‌ی داده‌ها و کارهای شما دسترسی داره، عملاً می‌تونه فعالیت مجرمانه رو شناسایی و گزارش کنه. اون به قوانین OFCOM در بریتانیا و پیشنهادهای کمیسیون اروپا (Chat Control) اشاره می‌کنه و یادآوری می‌کنه اپل همین حالا سر سرویس‌های رمزنگاری‌شده با بریتانیا درگیره. جمع‌بندی نویسنده اینه: فرق یه دستیار مفید، یه ربات تبلیغاتی و یه جاسوس دولتی فقط به پرامپت و کمی fine-tuning مدله. هدف رمزنگاری همیشه حذف اعتماد بوده، ولی هیچ ابزار رمزنگاری‌ای نمی‌تونه جلوی «داده‌هاتو بفرست به گوگل» یا «هرچی مشکوک دیدی به دولت گزارش بده» رو بگیره؛ این محافظت اگه اصلاً وجود داشته باشه، تو قانون و سیاسته، نه تو سخت‌افزار.

نکات کلیدی:

• سیری جدید اپل قراره از مدل‌های Gemini گوگل به‌علاوه‌ی Confidential Inference گوگل و Private Cloud Compute اپل استفاده کنه
• پردازش خصوصی فقط جلوی دسترسی خود اپل و گوگل رو می‌گیره، نه نشت داده به جاهای دیگه
• یه عامل برای مفید بودن باید با بیرون حرف بزنه و همین‌جا داده‌ی خصوصی درز می‌کنه
• the lethal trifecta: دسترسی به داده‌ی خصوصی + محتوای نامعتمد + ارتباط با بیرون = خطر سرقت داده با تزریق پرامپت
• نویسنده هشدار می‌ده عامل‌ها می‌تونن ابزار جاسوسی دولتی یا تبلیغاتی بشن و رمزنگاری جلوی این رو نمی‌گیره