خودت مدل رو بالا بیاری یا API بخری؟
هوش مصنوعیخلاصهٔ کاملتر
نویسنده تو این مقاله سراغ سؤالی میره که معمولاً بعد از سهبرابر شدن صورتحساب API تو جلسهٔ استندآپ پرسیده میشه: خودمون مدل رو بالا بیاریم؟ به گفتهٔ اون، رفلکسِ «مالکیت سختافزار حتماً ارزونتره» تقریباً همیشه غلطه. سه جا میشه مدل رو اجرا کرد: API میزبانیشده، دیپلوی مدیریتشده روی tenancy ابری خودت، و سلفهاست کامل. چهار عامل هم انتخاب رو تعیین میکنن: حجم توکن، حاکمیت داده، نیروی انسانی، و دسترسی به مدل.
زیر حدود یک میلیون توکن در روز، API آشکارا برندهست: چیزی برای نصب نداری و به مدلهای ردهٔ فرانتیر میرسی که هیچ سختافزار مصرفی اجراشون نمیکنه. در عوض هر پرامپت از شبکهت بیرون میره و ۴۴ درصد شرکتها همین حریم خصوصی داده رو مانع اصلی پذیرش AI میدونن. دیپلوی مدیریتشده حد وسطه: داده تو فضای خودت میمونه ولی هنوز داری اجاره میدی. یه H100 اختصاصی ساعتی حدود ۴ دلار درمیاد، یعنی سالی نزدیک ۳۵ هزار دلار، تقریباً قیمت خریدِ خودِ کارت.
سلفهاست کامل جاییه که هزینههای پنهون زندگی میکنن. مدل باید تو حافظهٔ GPU جا بشه؛ قاعدهٔ سرانگشتی حدود نیم گیگابایت VRAM به ازای هر میلیارد پارامتر با کوانتیزیشن ۴ بیتیه، پس یه مدل ۷۰B بین ۳۵ تا ۴۰ گیگ میخواد و اگه جا نشه، اجرا میافته روی CPU و ۱۰ تا ۱۰۰ برابر کندتر میشه. یه کارت ردهٔ بالا هم ۴۵۰ تا ۵۷۵ وات میکشه. سرویسدهی به یه تیم هم موتور واقعی مثل vLLM میخواد که درخواستها رو batch کنه.
ولی به گفتهٔ نویسنده خط اصلی بودجه چیز دیگهایه: حقوق مهندس MLOps، حدود ۱۶۰ هزار دلار در سال، چند برابر قیمت کارتیه که ازش مراقبت میکنه. نقطهٔ سربهسر حدود دو میلیون توکن در روزه؛ بین یک تا دو میلیون واقعاً سربهسره و بالای ده میلیون، سختافزار خودت تو شش تا دوازده ماه خودشو درمیاره. البته این عدد فقط وقتی معنی داره که کار واقعاً به استدلال ردهٔ فرانتیر نیاز داشته باشه؛ با یه مدل سبک و ارزون، سلفهاست هیچوقت بهش نمیرسه.
جمعبندی نویسنده اینه که بیشتر تیمها به معماری هیبریدی میرسن: کارهای ساده، پرحجم و حساس محلی اجرا میشن و فقط استدلالهای سنگین میره سمت API. این ترکیب ۴۰ تا ۷۰ درصد از حالت تماماً API ارزونتر درمیاد، ولی خودش بیهزینه نیست؛ روتر یه سیستم اضافهست که باید ساخته و زنده نگه داشته بشه و یه درخواستِ اشتباه دستهبندیشده میتونه داده حساس رو دقیقاً به همون API بیرونی بفرسته که براش مسیر محلی ساخته بودی.
نکات کلیدی:
- زیر یک میلیون توکن در روز API ارزونتره؛ نقطهٔ سربهسر حدود دو میلیون توکنه و بالای ده میلیون، سختافزار تو ۶ تا ۱۲ ماه برمیگرده
- حاکمیت داده حق وتو داره: اگه رکوردها نتونن از شبکه بیرون برن، API کلاً از دور خارجه
- بهترین مدلها closed-weight هستن، پس سقفِ چیزی که میتونی مالکش باشی، بهترین مدل open-weighte
- حدود نیم گیگ VRAM به ازای هر میلیارد پارامتر (کوانتیزیشن ۴ بیتی)؛ جا نشدن مدل یعنی ۱۰ تا ۱۰۰ برابر کندتر روی CPU
- حقوق ~۱۶۰ هزار دلاری MLOps گرونتر از خودِ GPUهاست و همون خطیه که تیمها فراموشش میکنن
- اشتراک زیرساخت اهرم مهمیه: سه اپ داخلی با روزی ۷۰۰ هزار توکن با هم از مرز رد میشن
