‏هوش مصنوعی لوکال واقعاً از ChatGPT و Claude ارزون‌تره؟

نویسنده تو این مقاله یه جواب کوتاه داره: نه، برای بیشتر آدم‌ها اجرای local AI (یعنی اجرای مدل روی سخت‌افزار خودت، بدون اینترنت) پول کمتری از اشتراک ChatGPT Plus یا Claude Pro درنمیاره. اشتراک ماهی ۲۰ دلاره، یعنی سالی ۲۴۰ دلار، و پلن‌های سنگین‌تر هم ۱۰۰، ۲۰۰ و حتی ۵۰۰ دلار در ماه هستن. ولی سخت‌افزار لوکال یعنی یه خرج بزرگ اول کار که باید سال‌ها ازش کار بکشی تا سرشکن بشه.

به گفتهٔ مقاله، یه RTX 4090 که الان قیمتش نزدیک ۵۰۰۰ دلار شده، یه مدل جمع‌وجور مثل نسخه‌های کوچیک Qwen3 رو با حدود ۲۵ تا ۴۰ توکن در ثانیه اجرا می‌کنه که تازه لب مرز قابل‌استفاده بودنه. RTX 5090 با ۳۲ گیگ VRAM حدود ۸۵۰۰ دلاره و باز هم به خروجی مدل‌های frontier (یعنی قوی‌ترین مدل‌های روز شرکت‌های بزرگ) نمی‌رسه. تازه برق و وقتی که برای تنظیمش می‌ذاری هم هنوز حساب نشده.

نویسنده می‌گه عدد اصلی که طرفدارهای لوکال کمتر ازش حرف می‌زنن، tokens per second هست. ۱۵ تا ۳۰ توکن در ثانیه فقط به درد سؤال و جواب ساده می‌خوره و برای کار واقعی با یه agent باید به ۷۰ تا ۱۰۰ برسی. مشکل وقتی جدی می‌شه که بخوای چند agent رو هم‌زمان اجرا کنی: همین ظرفیت محدود بینشون تقسیم می‌شه و همه کند می‌شن. سرویس‌های ابری این کارو روی کلی GPU پخش می‌کنن.

یه نکته‌ای که مقاله روش تأکید داره اینه که open-source با لوکال یکی نیست. مدل‌های open-weights مثل Kimi خیلی خوب هستن، ولی معمولاً اون‌قدر بزرگن (گاهی تریلیون‌ها پارامتر) که حتی بعد از quantization (یعنی کم کردن دقت اعداد مدل برای کوچیک شدنش، با کمی افت کیفیت) روی سیستم شخصی جا نمی‌شن و آخرش روی GPUهای ابری اجرا می‌شن.

به نظر نویسنده، قوی‌ترین دلیل برای لوکال، حاکمیت روی داده‌ها و وابسته نبودن به شرکت‌های AI هست، نه هزینه. مثلاً محدودیت‌هایی که Anthropic قبلاً روی استفاده از ابزارهایی مثل OpenClaw با اشتراک گذاشت، نشون می‌ده دسترسی ابری هر وقت بخوان می‌تونه عوض بشه. یه مدل لوکال به‌عنوان پشتیبان آفلاین هم کاربرد داره.

راه‌اندازی هم هنوز سخته، چون سخت‌افزارها (Nvidia، Apple Silicon) و سیستم‌عامل‌ها و مدل‌ها همه با هم فرق دارن. ابزارهایی مثل LM Studio کارو راحت‌تر کردن، ولی هنوز باید از تنظیمات quantization و context window و محدودیت حافظهٔ GPU سر دربیاری. نتیجه‌گیری مقاله اینه که لوکال فعلاً بیشتر مال علاقه‌مندها و آدم‌های فنیه.

نکات کلیدی:

• اشتراک ChatGPT Plus یا Claude Pro ماهی ۲۰ دلاره؛ پلن‌های بالاتر تا ۵۰۰ دلار در ماه هم هست
• RTX 4090 حدود ۵۰۰۰ دلار و RTX 5090 با ۳۲ گیگ VRAM حدود ۸۵۰۰ دلاره
• برای کار واقعی با یه agent حدود ۷۰ تا ۱۰۰ توکن در ثانیه لازمه؛ ۱۵ تا ۳۰ فقط برای سؤال ساده کافیه
• اجرای چند agent هم‌زمان روی یه GPU، سرعت هر کدوم رو پایین میاره
• مدل‌های open-weights بزرگ معمولاً حتی با quantization روی سیستم شخصی جا نمی‌شن
• دلیل اصلی لوکال: حریم خصوصی داده، استقلال از شرکت‌ها و دسترسی آفلاین