‏ExecuTorch در ری‌اکت نیتیو: اجرای مدل‌های AI روی خود دستگاه

این کتابخونه پل بین ری‌اکت نیتیو و قابلیت‌های نیتیو پلتفرمه تا بشه مدل‌های هوش مصنوعی رو محلی و روی خود موبایل اجرا کرد. طبق توضیح سازنده، هدف اینه که توسعه‌دهنده بدون اینکه لازم باشه توی برنامه‌نویسی نیتیو یا یادگیری ماشین متخصص باشه، بتونه مدل اجرا کنه. زیرساختش ExecuTorche؛ فریم‌ورکی که متا ساخته و برای اجرای مدل روی دستگاه‌هایی مثل گوشی موبایل یا حتی میکروکنترلر طراحی شده.

مزیت کلیدی این رویکرد اینه که پردازش روی خود دستگاه انجام می‌شه، پس دیتای کاربر به سرور فرستاده نمی‌شه. سازنده به‌عنوان یه نمونهٔ واقعی، اپلیکیشن Private Mind رو مثال می‌زنه؛ یه اپ موبایل هوش مصنوعی با تمرکز روی حریم خصوصی که روی App Store و Google Play موجوده و با همین کتابخونه کار می‌کنه.

مدل کار برنامه‌نویسیش اعلانیه و حول یه هوک ساده می‌چرخه. اول کتابخونه رو مقداردهی می‌کنی و بعد با useLLM مدل موردنظرت رو لود می‌کنی:

const llm = useLLM({
  model: models.llm.lfm2_5_1_2b_instruct(),
});

بعد برای گرفتن جواب، یه آرایه از پیام‌ها با نقش‌های system و user می‌سازی و به llm.generate می‌دی؛ درست شبیه ساختار چت‌های آشنای LLM. کتابخونه یه مجموعه مدل آمادهٔ استفاده هم داره و اگه بخوای مدل خودت رو اجرا کنی، باید اول به فرمت .pte صادرش کنی.

چند نکتهٔ عملی هم توی مستندات هست: حداقل نسخه‌های پشتیبانی‌شده iOS 17.0 و Android 13 هستن، و کتابخونه فقط با معماری جدید ری‌اکت نیتیو کار می‌کنه. سازنده هشدار می‌ده که اجرای LLMها به مقدار قابل‌توجهی RAM نیاز داره و اگه اپ روی شبیه‌ساز کرش کرد، بهتره RAM بیشتری بهش اختصاص بدی. چند اپ نمونه هم برای چت، تبدیل گفتار به متن و بالعکس، بینایی ماشین و امبدینگ متن ارائه شده.

کتابخونه با مجوز MIT منتشر شده و توسط Software Mansion، که از مشارکت‌کننده‌های اصلی ری‌اکت نیتیوه، ساخته و نگهداری می‌شه.

نکات کلیدی:

• اجرای اعلانی مدل‌های هوش مصنوعی مستقیم روی دستگاه توی ری‌اکت نیتیو، با زیرساخت ExecuTorch متا
• چون پردازش محلیه، دیتای کاربر از گوشی بیرون نمی‌ره؛ خوب برای حریم خصوصی
• کار با مدل حول هوک useLLM و متد generate می‌چرخه
• حداقل iOS 17 و Android 13، و فقط روی معماری جدید ری‌اکت نیتیو
• اجرای LLM به RAM زیادی نیاز داره؛ مجوز MIT