‏کش، قیمت واقعی مدل‌های هوش مصنوعیه

نویسنده می‌گه آنتروپیک و OpenAI با فاصلهٔ فقط ۴۸ ساعت، قیمت مدل‌های جدیدشون (Claude Fable 5.1 و GPT-6 Astra) رو دقیقاً یکی اعلام کردن: ۱۰ دلار به ازای هر میلیون توکن ورودی و ۵۰ دلار برای هر میلیون توکن خروجی. اما وقتی ریز قیمت‌ها رو نگاه کنی، این دو تا اصلاً یه قیمت نیستن؛ ستونی که هیچ‌کس بهش اشاره نمی‌کنه، یعنی نرخ خوندن از کش، فرق ۴ برابری داره.

راه‌حل رایج برای کنترل هزینه، مسیردهیه: اول کار رو به یه مدل ارزون بده، فقط وقتی جواب نداد به مدل قوی‌تر بسپار. این کار وقتی جواب می‌ده که مدل ارزون بیشتر کارها رو خودش انجام بده و هندآف (انتقال کار) بین مدل‌ها ارزون باشه؛ چون کش پرامپت باعث می‌شه زمینهٔ قبلی فقط یه بار نوشته بشه و بارها با تخفیف خونده بشه. مشکل اینه که هندآف بین دو مدل مختلف، کش رو از بین می‌بره و باید کل زمینه دوباره از صفر پردازش بشه.

نویسنده با یه مثال عددی نشون می‌ده: یه زمینهٔ ۲۰۰هزار توکنی که تو ۲۰ نوبت گفتگو دوباره خونده می‌شه، بدون کش حدود ۴۰ دلار می‌شه؛ با کش روی Claude Fable 5.1 فقط حدود ۳.۴۵ دلار، ولی همون کار رو GPT-6 Astra حدود ۶.۳۰ دلار حساب می‌کنه، چون نرخ خوندن کش OpenAI چهار برابر آنتروپیکه. برای یه تیم که سالی حدود ۲ میلیون دلار روی کدنویسی ایجنتی خرج می‌کنه، همین یه ستون تفاوت می‌تونه حدود ۲۵۴ هزار دلار در سال فرق قیمت بذاره.

نکتهٔ اصلی مقاله اینه که هزینهٔ واقعیِ مسیردهی، نه به قیمت مدل‌ها، بلکه به این بستگی داره که مدل قوی‌تر وقتی کار رو تحویل می‌گیره، کش رو نگه می‌داره یا باید از اول بسازه و دور بریزه. طبق دادهٔ Together AI رو یه بنچمارک کدنویسی، حدود ۳۷ درصد کارها به مدل قوی‌تر هندآف می‌شن؛ بسته به این‌که این هندآف چطور صورت‌حساب بشه، نرخ سربه‌سر بودن مسیردهی بین ۳۱ تا ۹۰ درصد جابه‌جا می‌شه؛ یعنی همین یه فاکتور، تصمیم «مسیردهی به‌صرفه‌ست یا نه» رو بیشتر از انتخاب خود مدل‌ها عوض می‌کنه.

نویسنده پیشنهاد می‌ده به‌جای مسیردهی وسط کار (که هندآف رو گرون می‌کنه)، از همون اول بر اساس نوع کار، مدل مناسب رو انتخاب کنی؛ اسمشو می‌ذاره selection به‌جای routing. همچنین اشاره می‌کنه که مدیرعامل Salesforce و مدیر مالی HPE هر دو علنی از مسیر دادن کار به مدل‌های ارزون‌تر حرف زدن، ولی داده‌های Vercel نشون می‌ده هنوز خریدارها ترجیح می‌دن پول بیشتری برای مدل‌های قوی‌تر بدن؛ آنتروپیک تو یه گیت‌وی چندمدلی، ۳۰ درصد ترافیک ولی ۶۵ درصد درآمد رو گرفته، یعنی هنوز داره پرمیوم می‌گیره.

نکات کلیدی:

• هر دو مدل ۱۰ دلار ورودی و ۵۰ دلار خروجی دارن، ولی نرخ خوندن کش OpenAI چهار برابر آنتروپیکه.
• تو یه مثال ۲۰ نوبتی با زمینهٔ ۲۰۰هزار توکنی، هزینهٔ کش‌شده رو Claude حدود ۳.۴۵ دلار و رو GPT حدود ۶.۳۰ دلاره.
• هندآف بین دو مدل مختلف کش رو باطل می‌کنه؛ همین هزینه تعیین می‌کنه مسیردهی به‌صرفه‌ست یا نه.
• طبق داده‌های Together AI، نرخ هندآف تو یه کاسکید تست‌محور حدود ۳۱ تا ۳۷ درصده.