‏محلی یا ابری؟ هر تسک مدل خودشو می‌خواد

نویسنده تو وبلاگ MindStudio می‌گه سؤال «مدل محلی یا ابری» دیگه جواب یک‌کلمه‌ای نداره. مدل‌های اپن‌سورس مثل Llama 3، Mistral، Phi-3 و Qwen2 با ابزارهایی مثل Ollama، LM Studio، llama.cpp و vLLM روی سخت‌افزار معمولی جواب می‌دن، و هم‌زمان قیمت مدل‌های ابری هم پایین اومده. چیزی که عوض نشده اینه که تو حجم بالا، اقتصاد کار هنوز به نفع مدل محلیه.

به گفتهٔ نویسنده، مدل‌های محلی تو بازهٔ ۷ تا ۷۰ میلیارد پارامتر روی دسته‌بندی متن، استخراج داده، خلاصه‌سازی ساده، تغییر فرمت و تشخیص intent تقریباً هم‌سطح مدل‌های ابری کار می‌کنن. محدودیت‌هاشون هم روشنه: عمق استدلال کمتر، پنجرهٔ کانتکست ۸ تا ۳۲ هزار توکن در برابر ۱۲۸ تا ۲۰۰ هزار توکن مدل‌های ابری، دنبال‌کردن ضعیف‌ترِ دستورهای چندبخشی، و نیاز به VRAM سنگین — یه مدل ۷۰ میلیاردی بین ۴۰ تا ۸۰ گیگابایت حافظهٔ گرافیکی می‌خواد.

عددها تصویر رو روشن می‌کنن. GPT-4o حدود ۲.۵ دلار برای هر میلیون توکن ورودی و ۱۰ دلار برای هر میلیون توکن خروجی قیمت داره. یه agent که روزی ۱۰ هزار درخواست با ۱۰۰۰ توکن ورودی و ۵۰۰ توکن خروجی می‌فرسته، فقط بابت ورودی روزی حدود ۳۷.۵ دلار خرج برمی‌داره؛ یعنی بالای ۱۰۰۰ دلار در ماه برای یک workflow.

نویسنده چهار معیار برای تصمیم مسیریابی می‌ذاره: پیچیدگی تسک، حساسیت داده (چیزی مثل دادهٔ تحت HIPAA یا GDPR اصلاً نباید از زیرساخت بیرون بره)، حساسیت به تأخیر، و سطح کیفیتی که خروجی لازم داره. ساده‌ترین پیاده‌سازی هم قانون‌های صریحه:

IF task_type == "classification" AND label_count < 20 → local model
IF data_contains_pii == true → local model
IF input_tokens > 8000 → cloud model (long context)

سه راه دیگه هم هست: مسیریابی با یه مدل کوچکِ دسته‌بند، الگوی cascade که اول مدل محلی جواب می‌ده و اگه خروجی از اعتبارسنجی رد نشد به ابر منتقلش می‌کنی، و اجرای موازی هر دو مدل و انتخاب خروجی بهتر. به گفتهٔ نویسنده cascade وقتی می‌ارزه که مدل محلی اکثر موارد رو ببره و فقط به یه تور ایمنی برای دم توزیع نیاز داشته باشی.

خطاهای رایجی که مقاله بهشون اشاره می‌کنه اینان: انتخاب مدل بر اساس اسم به‌جای نیاز واقعی تسک، نادیده‌گرفتن هزینهٔ cold start مدل محلی، جایگزینی مستقیم بدون تست دوبارهٔ پرامپت‌ها، و دست‌کم‌گرفتن سربار نگهداری زیرساخت. نویسنده تأکید داره که از روز اول باید لاگ بگیری: هزینه به تفکیک لایه، نرخ escalation و تأخیر هر لایه.

جمع‌بندی نویسنده اینه که زیر ۱۰ هزار تسک در ماه، سربار مهندسی این معماری نمی‌ارزه و بهتره سراغ مدل‌های ارزان ابری بری؛ بالای ۵۰ هزار تسک در ماه یا وقتی الزام حریم داده داری، ترکیبی‌کردن منطقیه. هدف این نیست که تا می‌تونی محلی اجرا کنی، هدف اینه که بودجهٔ محاسبات رو جایی خرج کنی که واقعاً ارزش تولید می‌کنه.

نکات کلیدی:

• تصمیم محلی یا ابری تسک‌به‌تسکه، نه پروژه‌به‌پروژه
• مدل محلی برای دسته‌بندی، استخراج، فرمت‌دهی و دادهٔ حساس
• مدل ابری برای استدلال پیچیده، کانتکست بلند و ورودی چندرسانه‌ای
• چهار معیار تصمیم: پیچیدگی، حساسیت داده، تأخیر، کیفیت خروجی
• زیر ۱۰ هزار تسک در ماه سربار این معماری نمی‌ارزه