‏هوش مصنوعی لوکال یا کلاود؟ راه سوم

تو این مقاله اومده که طبق یه بررسی روی الگوی استفاده از ChatGPT، حدود ۷۱٪ درخواست‌های کاربرها اون‌قدر ساده‌ن که یه مدل محلی توانمند هم از پسشون برمیاد؛ چیزهایی مثل خلاصه‌سازی، پرسش و پاسخ ساده، دسته‌بندی و مرتب‌کردن متن. با این حال بیشتر تیم‌ها هر درخواستی رو می‌فرستن سمت API ابری و بابت کاری که سخت‌افزار خودشون هم می‌تونست انجام بده، توکنی پول می‌دن.

نویسنده اول تکلیف اصطلاح «هوش مصنوعی لوکال» رو روشن می‌کنه، چون از یه مدل ۲ میلیارد پارامتری روی مک‌بوک تا مدل ۷۰ میلیاردی روی سرور داخلی، همه رو با همین یه اسم صدا می‌زنن. لایهٔ اول دستگاه‌های کاربره: مدل‌هایی مثل Phi-3 Mini و Gemma 2B و Llama 3.2 با ابزارهایی مثل Ollama و LM Studio. حریم خصوصی کامله و هزینهٔ توکن صفر، ولی سقف کیفیت و پنجرهٔ کانتکست (معمولاً ۸ تا ۳۲ هزار توکن) محدوده.

لایهٔ دوم سرور یا ورک‌استیشن داخلیه؛ جایی که به گفتهٔ نویسنده لوکال واقعاً با ابر رقابت می‌کنه. با یکی دو GPU رده‌بالا می‌شه Llama 3 70B یا Mixtral 8x7B و Qwen 2.5 72B رو با سرعت قابل قبول اجرا کرد، ولی سخت‌افزارش ۸ تا ۲۰ هزار دلار خرج برمی‌داره و فقط وقتی صرف می‌کنه که حجم درخواست‌ها بالا باشه. لایهٔ سوم هم کلاستر GPU اختصاصی روی کلاوده: گرون‌ترین گزینه، ولی با آزادی کامل برای فاین‌تیون و ممیزی.

بخش مهم مقاله دربارهٔ لایسنسه. نویسنده می‌گه چیزی که تو دنیای مدل‌های زبانی «متن‌باز» صدا زده می‌شه، معمولاً فقط open weight (وزن‌باز) ه: وزن‌ها در دسترسن ولی لایسنس محدودیت داره. فقط تعداد کمی مدل زیر Apache 2.0 یا MIT منتشر می‌شن. مدل‌های Llama متا لایسنس اختصاصی دارن که ذکر منبع می‌خواد، شرکت‌های بالای ۷۰۰ میلیون کاربر ماهانه رو محدود می‌کنه و استفاده از مدل برای آموزش مدل‌های پایهٔ رقیب رو ممنوع کرده. شرایط استفادهٔ Gemma گوگل هم محدودیت‌های مشابهی داره.

یه نکتهٔ ظریف هم هست که خیلی‌ها اشتباه می‌کنن: فاین‌تیون‌کردن یه مدل محدودشده، لایسنس پایه رو عوض نمی‌کنه. خروجی فاین‌تیون یه اثر مشتقه و همون محدودیت‌های مدل اصلی روش سوار می‌مونه، پس اگه قراره محصول تجاری بسازی، بهتره از همون اول از یه مدل پایهٔ Apache 2.0 شروع کنی.

نویسنده منکر برتری‌های ابر نمی‌شه: مدل‌های فرانتیر تو استدلال چندمرحله‌ای و کدنویسی جلوترن، پنجرهٔ کانتکستشون ۱۲۸ هزار تا یک میلیون توکنه، تو کارهای تصویری بهترن، و مهم‌تر از همه هیچ دردسر زیرساختی ندارن. یه ستاپ لوکال که جواب ۱۰ کاربر همزمان رو می‌ده، ممکنه با ۱۰۰ کاربر کم بیاره.

پیشنهاد نهایی مقاله مسیریابی ترکیبیه: هر درخواست بر اساس پیچیدگی، حساسیت داده، نیاز به تأخیر کم و طول خروجی دسته‌بندی بشه و بره سراغ ارزون‌ترین مدلی که کیفیت قابل قبول می‌ده. یه معماری سه‌مسیره کافیه — لوکال برای دادهٔ حساس و کارهای ساده و پرتکرار، مدل‌های اقتصادی ابری مثل Haiku و Flash و Mini برای پیچیدگی متوسط، و مدل‌های فرانتیر برای بقیه. خود منطق مسیریابی هم لازم نیست پیچیده باشه؛ یه پرامپت کوتاه دسته‌بندی یا حتی قانون ساده کافیه.

حساب و کتاب هزینه‌ش هم اینه: مدل‌های فرانتیر حدود ۳ تا ۱۵ دلار برای هر میلیون توکن ورودی و ۱۲ تا ۷۵ دلار برای خروجی می‌گیرن، مدل‌های اقتصادی ۱۰ تا ۳۰ برابر ارزون‌ترن و استنتاج لوکال بعد از مستهلک‌شدن سخت‌افزار عملاً فقط پول برقه. به گفتهٔ نویسنده تیمی که ماهی ۵ هزار دلار خرج API فرانتیر می‌کنه، با مسیریابی درست می‌تونه به ۱۲۰۰ تا ۱۸۰۰ دلار برسه.

نکات کلیدی:

• هوش مصنوعی لوکال یه طیفه: دستگاه کاربر، سرور داخلی و کلاستر خصوصی، هرکدوم با موازنهٔ هزینه و توان متفاوت
• «وزن‌باز» با «متن‌باز» فرق داره؛ قبل از استقرار حتماً لایسنس رو بخون
• فاین‌تیون محدودیت لایسنس مدل پایه رو پاک نمی‌کنه
• مسیریابی ترکیبی راه میانهٔ عملیه: کار ساده و دادهٔ حساس لوکال، استدلال پیچیده ابری
• عدد ۷۱٪ جهت‌گیریه نه نسخه؛ ترکیب کاری خودت تعیین می‌کنه چقدر می‌تونی جابه‌جا کنی