‏چطور مدل زبانی مناسب کارهای شرکت رو انتخاب کنیم

نویسنده‌ی این مقاله می‌گه بیشتر تیم‌ها یه بار یه مدل frontier (یعنی قوی‌ترین و گرون‌ترین مدل‌های روز) رو از روی عادت انتخاب می‌کنن و دیگه هیچ‌وقت سراغش نمی‌رن. در حالی که کارهایی مثل جواب دادن به پشتیبانی مشتری، نوشتن مستندات داخلی یا ساختن یه landing page ساده اصلاً به اون سطح از هوش نیاز ندارن. این کارها یه مدل سریع، ثابت و ارزون می‌خوان که بشه با حجم بالا اجراش کرد.

فاصله‌ی قیمت هم کم نیست. به گفته‌ی مقاله، مدل‌های اصلی شرکت‌های غربی از چند دلار تا ده‌ها دلار برای هر میلیون توکن ورودی می‌گیرن. ولی بعضی مدل‌های open-weight (یعنی مدل‌هایی که فایل وزن‌هاشون رو می‌شه دانلود کرد و خودت اجرا کنی) از لابراتوارهای چینی حدود ۲ دلار قیمت دارن و نسخه‌های قبلیشون حتی زیر ۱ دلار بودن. مدل‌هایی مثل Qwen میلیاردها بار دانلود شدن و بیشتر از ۱۰۰ هزار نسخه‌ی fine-tune شده روی Hugging Face دارن.

نویسنده معتقده کنترل داده برای شرکت‌های بزرگ حتی از قیمت مهم‌تره. هر prompt که به API یه شرکت دیگه می‌فرستی، اون شرکت هم می‌بینتش. اگه وزن‌های مدل رو دانلود کنی و روی سرورهای خودت اجرا کنی، داده هیچ‌وقت از شرکت بیرون نمی‌ره، فرقی هم نمی‌کنه مدل اصلاً کجا ساخته شده. یعنی استفاده از یه مدل چینی لزوماً به این معنی نیست که داده‌هات می‌رن چین.

روش پیشنهادی مقاله چهار مرحله داره. اول یه لایه‌ی واسط بساز که بشه هر درخواست رو به هر مدلی فرستاد، شبیه کاری که OpenRouter می‌کنه. دوم، هر کار جدید رو با قوی‌ترین مدل موجود تست کن تا سقف کیفیت معلوم بشه. سوم، یه نسل یا یه پله پایین‌تر برو و دوباره تست کن تا جایی که کیفیت از حد لازم پایین‌تر بیاد. چهارم، مدلی که پیدا کردی رو با بهترین مدل‌های open-weight مقایسه کن.

اجرای مدل روی سخت‌افزار خودت ارزون نیست. باید GPU بخری یا اجاره کنی و زیرساخت inference راه بندازی. به گفته‌ی نویسنده، این کار فقط وقتی به‌صرفه‌ست که حجم کار اون‌قدر بالا باشه که هزینه‌ی زیرساخت از قبض API کمتر بشه، یا داده‌ها اون‌قدر حساس باشن که نشه بیرون فرستادشون. در عوض، fine-tune کردن مدل روی داده‌های خود شرکت (مثل تیکت‌های پشتیبانی قبلی) می‌تونه باعث بشه روی همون کار خاص از مدل‌های frontier هم بهتر جواب بده.

نکات کلیدی:

• روش پله‌ای: با قوی‌ترین مدل شروع کن و تا جایی پایین بیا که کیفیت افت کنه
• قیمت مدل‌های open-weight چینی حدود ۲ دلار برای هر میلیون توکن ورودیه، در برابر چند تا ده‌ها دلار برای مدل‌های اصلی غربی
• اجرای وزن‌های مدل روی سرور خودت یعنی داده از شرکت بیرون نمی‌ره
• Qwen بیشتر از ۱۰۰ هزار نسخه‌ی fine-tune شده روی Hugging Face داره
• اجرای مدل روی سخت‌افزار خودت فقط برای شرکت‌های متوسط و بزرگ با حجم بالا به‌صرفه‌ست
• این انتخاب رو باید هر چند ماه یه بار دوباره بررسی کرد، چون مدل‌های جدید زود به زود میان