‏هوش مصنوعی محلی به درد کی می‌خوره؟

نویسنده اول یه سوءتفاهم رایج رو روشن می‌کنه: local AI (یعنی اجرای مدل روی لپ‌تاپ یا سرور خونگی خودت، بدون اینترنت) با open-weight AI (یعنی مدلی که وزن‌هاش عمومی منتشر شده) یکی نیست. برای اجرای محلی حتماً به یه مدل open-weight نیاز داری، ولی بیشتر مدل‌های open-weight قوی اون‌قدر بزرگن که هیچ‌وقت به کامپیوتر خونگی نمی‌رسن و شرکت‌های ابری اون‌ها رو روی کلی GPU اجرا می‌کنن.

به گفتهٔ مقاله، قوی‌ترین دلیل برای local AI حفظ داده‌هاست. وقتی مدل آفلاین اجرا می‌شه، پرامپت‌ها و سندهات از دستگاهت بیرون نمی‌رن. برای شرکت‌هایی که با کد اختصاصی یا اطلاعات محرمانهٔ مشتری کار می‌کنن، این خیلی وقت‌ها یه الزامه نه یه انتخاب. ولی برای آدم‌های معمولی که از قبل Gmail و Google Docs رو بی‌دغدغه استفاده می‌کنن، اهمیتش کمتره.

دلیل دوم وابسته نبودن به یه شرکته. مقاله مثال می‌زنه که Anthropic دسترسی کاربرهای OpenClaw (یه ابزار کدنویسی شخص ثالث) رو محدود کرد تا دیگه نتونن از اشتراک پولی Claude از طریق اون ابزار استفاده کنن. هر شرکتی با مدل بسته می‌تونه هر وقت خواست قوانین رو عوض کنه، ولی وزن‌هایی که رو هارد خودته رو هیچ‌کس نمی‌تونه ازت بگیره.

ولی بحث هزینه به نظر نویسنده سرپا نمی‌مونه. یه RTX 4090 الان نزدیک ۵۰۰۰ دلار قیمت داره و تازه فقط یه مدل جمع‌وجور و quantized رو با سرعت پایین اجرا می‌کنه (quantization یعنی کم کردن دقت عددهای مدل تا تو حافظهٔ کمتر جا بشه، که یه کم از کیفیت کم می‌کنه). یه GPU خونگی به‌سختی به ۳۰ تا ۴۰ توکن در ثانیه می‌رسه و اگه چند تا agent همزمان اجرا کنی، همین سرعت هم بینشون تقسیم می‌شه. در مقابل، اشتراک ۲۰ یا ۱۰۰ دلاری توانایی خیلی بیشتری می‌ده.

مشکل بزرگ‌تر، سختی کاره. باید quantization، فرق معماری GPUهای Nvidia و Mac و لینوکس، و ناهماهنگی خانواده‌های مدل آمریکایی و چینی رو بفهمی. ابزارهایی مثل LM Studio خیلی کمک کردن، ولی نمی‌تونن این پراکندگی رو کامل پنهون کنن. برای همین نویسنده معتقده local AI فعلاً بیشتر یه سرگرمی برای علاقه‌مندهای فنیه.

برنده‌های واقعی به گفتهٔ مقاله این‌ها هستن: شرکت‌هایی با قوانین سخت دربارهٔ داده، کسایی که حتماً دسترسی آفلاین می‌خوان، علاقه‌مندهای فنی و کسایی که اصولاً نمی‌خوان به چند تا شرکت وابسته باشن. یه مزیت دیگه هم کار کردن ۲۴ ساعته‌ست: وقتی پول سخت‌افزار رو دادی، سیستم بدون سقف مصرف اشتراک‌ها مدام کار می‌کنه، که برای کارهای پس‌زمینه‌ای و همیشگی یه برتری واقعیه.

نکات کلیدی:

• برای اجرای محلی به مدل open-weight نیاز داری، ولی بیشتر مدل‌های open-weight روی سرورهای ابری اجرا می‌شن.
• یه RTX 4090 نزدیک ۵۰۰۰ دلاره و فقط مدل‌های کوچیک و quantized رو اجرا می‌کنه.
• یه GPU خونگی به‌سختی به ۳۰ تا ۴۰ توکن در ثانیه می‌رسه؛ ۷۰ تا ۱۰۰ به بالا واقعاً قابل استفاده‌ست.
• Anthropic استفاده از اشتراک Claude از طریق OpenClaw رو محدود کرد؛ نمونه‌ای از ریسک وابستگی به یه شرکت.
• مزیت‌های اصلی local AI حفظ داده‌ها، نبود قفل شرکتی و کار ۲۴ ساعته بدون سقف مصرفه.