قیمت واقعی مدلهای مرزی رو توکنایزر تعیین میکنه
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
نویسنده میگه صورتحسابِ یه مدل حاصلضربِ دو عدده: تعداد توکنی که محتوات بهش تبدیل میشه، ضرب در قیمتِ هر توکن. صفحهی قیمت فقط عددِ دوم رو نشون میده و اولی رو ثابت فرض میکنه، در حالی که ثابت نیست و به توکنایزرِ مدل بستگی داره. برای همین دو مدل میتونن نرخِ یکسانِ «۵ دلار بهازای هر میلیون توکن» داشته باشن ولی برای یه پاراگرافِ واحد صورتحسابِ متفاوتی بسازن. چون کسی عددِ «توکنبهازایمحتوا» رو منتشر نمیکنه، خودشون اندازه گرفتن: ۱۶ نمونهی واقعی رو با توکنایزرِ تولیدیِ هر مدل و از طریق endpointهای رسمیِ شمارشِ خودِ شرکتها شمردن.
یافتهی اول اینه که نرخِ لیست یکیه ولی توکن حدود ۳۰٪ بیشتر شده. طبق اندازهگیریِ مقاله، Opus 4.6 و Opus 4.8 هردو نرخِ ۵/۲۵ دلار دارن، ولی توکنایزرشون فرق کرده؛ Sonnet 5، Opus 4.8 و Fable 5 توکنایزرِ جدیدو دارن. برای یه درخواستِ معمولِ کدنویسی این حدود ۳۲٪ توکنِ بیشتره. جالب اینکه تورم روی انگلیسی و کد متمرکزه و متنِ چینی تقریباً تکون نخورده. نویسنده میگه شمارشو با صورتحسابِ واقعی هم چک کرده: همون محتوا رو Opus 4.6 معادل ۲۵۴۱ توکن و Opus 4.8 معادل ۳۱۹۱ توکن حساب کرده، و Fable 5 هم دقیقاً ۳۱۹۱ بوده، یعنی مارکاپِ پنهانی پشتِ قیمتِ بالاترش نیست.
دربارهی Sonnet 5 توضیح میده که قیمتِ راهاندازیش (۲/۱۰ دلار) یه نرخِ معرفیه که ۳۱ آگوستِ ۲۰۲۶ تموم میشه. تا وقتی برقراره، نرخِ پایینتر کمی بیشتر از توکنهای اضافه رو جبران میکنه و Sonnet 5 یهخرده ارزونتر از ۴.۶ درمیاد؛ ولی از اولِ سپتامبر قیمت به ۳/۱۵ برمیگرده، توکنهای اضافه سرِ جاشون میمونن و همون کار حدود یکسوم گرونتر از Sonnet 4.6 با همون نرخِ لیست تموم میشه.
یافتهی دوم اینه که شکاف روی کد از همه بیشتره. با استفاده از o200kِ GPT بهعنوان مرجعِ ۱.۰۰ برابری، توکنایزرِ جدیدِ Claude برای TypeScript ۱.۷۳ برابر، Rust ۱.۵۸ برابر، JavaScript ۱.۵۲ برابر و Python ۱.۵۰ برابرِ GPT توکن میسازه، در برابرِ ۱.۴۰ برابر برای نثرِ انگلیسی. نویسنده میگه علتِ بدترینبودنِ TypeScript اینه که o200k روش فوقالعاده کارآمده (حدود ۴.۲۴ کاراکتر بهازای هر توکن)، چون احتمالاً روی حجم زیادی از JavaScript و TypeScriptِ وب آموزش دیده و الگوهای camelCase و JSX رو تو یه توکن فشرده میکنه.
حالا اگه نرخِ لیستو در این واگرایی ضرب کنی، «قیمتِ مؤثر» درمیاد. طبق جدولِ مقاله، Opus 4.8 با نرخِ ۵/۲۵ دلار عملاً مثل ۷.۵۰/۳۷.۵۰ رفتار میکنه، Sonnet 5 بعد از پنجرهی معرفی مثل ۴.۵۰/۲۲.۵۰، و Fable 5 با ۱۰/۵۰ مثل ۱۵/۷۵. با این حال نویسنده تأکید میکنه Gemini 3 Flash با اختلافِ زیاد ارزونترین گزینه میمونه و GPT-5.x روی انگلیسی و کد کمتوکنترینه.
نویسنده هشدار میده که همهی اینها فقط توکنایزیشنِ ورودی رو اندازه میگیره. یه تسکِ کاملِ ایجنتی متغیرهای بزرگتری هم داره: تعداد توکنِ خروجی و «فکرکردن»، مقدار زمینهای که هر قدم بار میشه، و نحوهی قیمتگذاریِ کش. نکتهی مهم اینه که کش هم بهازای توکن حساب میشه، پس توکنایزری که ۳۲٪ توکنِ بیشتر میسازه هر نوشتن و خوندنِ کشو هم ۳۲٪ گرونتر میکنه. توصیهش اینه: روی محتوای خودت مقایسه کن، تغییرِ توکنایزرو یه تغییرِ قیمت حساب کن، و بهجای دلاربهازایتوکن، دلاربهازایتسکِ کاملشده رو معیار بگیر.
نکات کلیدی:
- دلاربهازایمیلیونتوکن بین مدلها قابلمقایسه نیست چون توکنایزرها فرق دارن
- توکنایزرِ جدیدِ Anthropic حدود ۳۰-۳۲٪ توکنِ بیشتر از همون کد میسازه، بدون تغییرِ نرخِ لیست
- شکاف با GPT روی کد بیشتره؛ TypeScript بدترین حالت با ۱.۷۳ برابره
- قیمتِ مؤثرِ Opus 4.8 عملاً ۷.۵۰/۳۷.۵۰ درمیاد؛ کش هم به همون نسبت گرونتر میشه
