‏هوش مصنوعی محلی باید تبدیل به استاندارد بشه

یه نقد جدی به تِرند رایج توسعه نرم‌افزار امروزه: خیلی از توسعه‌دهنده‌ها به جای استفاده از توان پردازشی دستگاه کاربر، برای هر قابلیت هوش مصنوعی یه API call به OpenAI یا Anthropic می‌زنن. این رویکرد ظاهراً ساده، در عمل یه سیستم توزیع‌شده پرهزینه می‌سازه که به اتصال اینترنت، آپتایم سرویس خارجی، محدودیت نرخ درخواست، و صورت‌حساب ماهانه وابسته‌ست. به محض اینکه اعتبار کارت بانکی تموم بشه یا سرور خارجی بره زیر، اپ از کار می‌افته.

علاوه بر شکنندگی فنی، ارسال محتوای کاربر به یه سرویس ثالث ماهیت محصول رو عوض می‌کنه: سوال‌های مربوط به نگهداری داده، رضایت کاربر، احتمال نشت اطلاعات، و درخواست‌های دولتی همه وارد بازی می‌شن. نویسنده استدلال می‌کنه که اگه قابلیت مورد نظر رو بشه روی دستگاه اجرا کرد، انتخاب سرور ابری یه آسیب خودخواسته‌ست.

به عنوان مثال عینی، اپلیکیشن iOS خبرخوان Brutalist Report رو معرفی می‌کنه که خلاصه مقالات رو کاملاً روی دستگاه و با API های محلی اپل تولید می‌کنه. هیچ داده‌ای به سرور نمی‌ره، لاگی ذخیره نمی‌شه، و نیازی به حساب کاربری سرویس خارجی نیست. فریم‌ورک FoundationModels اپل این کار رو با چند خط کد ممکن می‌کنه:

import FoundationModels

let model = SystemLanguageModel.default
guard model.availability == .available else { return }

let session = LanguageModelSession {
  """
  Provide a brutalist, information-dense summary in Markdown format.
  - Use **bold** for key concepts.
  - Use bullet points for facts.
  - No fluff. Just facts.
  """
}

let response = try await session.respond(options: .init(maximumResponseTokens: 1_000)) {
  articleText
}

let markdown = response.content

برای محتوای طولانی‌تر، متن به تکه‌های ۱۰ هزار کاراکتری تقسیم می‌شه، هر تکه خلاصه می‌شه، و بعد یه پاس دوم همه خلاصه‌ها رو ترکیب می‌کنه. این دقیقاً همون کاریه که مدل‌های محلی توش عالی‌ان: تبدیل داده‌ای که از قبل روی دستگاه هست به یه خروجی سبک، بدون اینکه لازم باشه دانش جهانی تولید کنن.

اپل همچنین یه قابلیت جذاب دیگه هم اضافه کرده: به جای اینکه از مدل بخوای JSON بده و امیدوار باشی درست باشه، می‌شه یه struct سوییفت تعریف کرد، برای هر فیلد توضیح طبیعی نوشت، و از مدل خواست مستقیماً یه نمونه از اون نوع داده بسازه. این رویکرد خروجی هوش مصنوعی رو از یه متن بی‌شکل به داده‌ی تایپ‌شده و قابل اطمینان تبدیل می‌کنه. نتیجه نهایی ساده‌ست: اعتماد کاربر رو با یه سیاست حریم خصوصی دو هزار کلمه‌ای نمی‌سازی؛ با اینکه اصلاً به اون نیاز نداشته باشی می‌سازی.

نکات کلیدی:

• وابستگی به API های ابری هوش مصنوعی نرم‌افزار رو شکننده، پرهزینه، و ناقض حریم خصوصی می‌کنه
• دستگاه‌های امروزی توان کافی برای اجرای مدل‌های محلی رو دارن و Neural Engine اکثر وقت‌ها بیکاره
• فریم‌ورک FoundationModels اپل اجرای مدل زبانی محلی در iOS رو با چند خط کد ممکن می‌کنه
• مدل‌های محلی برای تبدیل داده‌ی کاربر (خلاصه‌سازی، دسته‌بندی، استخراج) ایده‌آل‌ان
• خروجی تایپ‌شده (Swift struct) به جای JSON خام، قابلیت اطمینان بیشتری داره