‏قیمت API مدل Naive-N0.5-Flash و حالت Ultrafast

مقاله دربارهٔ قیمت و سرعت API مدل Naive-N0.5-Flash هست. طبق model card، هر میلیون توکن ورودی ۰.۱۰ دلار، خروجی ۰.۴۰ دلار و خوندن از cache فقط ۰.۰۱ دلار هزینه داره. یعنی خروجی چهار برابر ورودی گرونه که برای مدل‌ها طبیعیه، ولی cache ده برابر ارزون‌تر از ورودی تازه‌ست.

به گفتهٔ نویسنده، همین قیمت cache مهم‌ترین نکته‌ست. cache read یعنی مدل contextی رو که قبلاً پردازش کرده دوباره استفاده می‌کنه و لازم نیست از اول حسابش کنه. ایجنت‌های کدنویسی دقیقاً همین کارو می‌کنن: یه فایل رو می‌خونن، تغییر می‌دن، تست می‌گیرن و دوباره همون مخزن رو می‌خونن. نویسنده می‌گه مدلی که توکنش ارزونه ولی خوندن دوبارهٔ context تو اون گرونه، تو کار واقعی ایجنتی مزیتش رو از دست می‌ده و این مدل تو این تله نمی‌افته.

موتور اجرای NaiveRT دو حالت سرعت داره: Standard با ۵۰ توکن بر ثانیه برای هر کاربر و Ultrafast با تا ۲۰۰۰ توکن بر ثانیه، یعنی حدود ۴۰ برابر. این سرعت از سه تکنیک میاد: mega-kernel fusion (ادغام چند عملیات GPU تو kernelهای بزرگ‌تر)، Programmatic Dependent Launch (هم‌پوشونی اجرای kernelها تا GPU بیکار نمونه) و speculative decoding (یه فرایند ارزون‌تر چند توکن جلوتر رو حدس می‌زنه و مدل اصلی موازی چکشون می‌کنه).

چرا سرعت برای کدنویسی مهمه؟ یه کار ایجنتی کلی مرحلهٔ پشت‌سرهم داره و هر مرحله کل زمان تولید پاسخ رو اضافه می‌کنه. با ۵۰ توکن بر ثانیه یه پاسخ چندصد توکنی چند ثانیه طول می‌کشه، ولی با ۲۰۰۰ توکن کمتر از یه ثانیه. وقتی ایجنت ده‌ها یا صدها بار مدل رو صدا می‌زنه، این فرق خیلی جمع می‌شه. model card برای Ultrafast قیمت جداگونه‌ای ذکر نکرده، پس هزینهٔ اضافه‌ش هنوز معلوم نیست.

ارزون بودن قیمت هم به معماری برمی‌گرده. مدل MoE هست با ۳۰۹ میلیارد پارامتر کل و ۱۵.۵ میلیارد پارامتر فعال، و هزینهٔ محاسبه به پارامترهای فعال بستگی داره، نه کل. ترکیب Sliding-Window Attention و DeepSeek Sparse Attention هم نمی‌ذاره هزینهٔ هر توکن با طول context بالا بره. چون وزن‌ها با لایسنس MIT منتشر شده، هر کی سخت‌افزارش رو داشته باشه (GPU انویدیا با FP8 و حدود ۳۱۵ گیگ برای وزن‌ها) می‌تونه کلاً قید API رو بزنه.

نکات کلیدی:

• قیمت هر میلیون توکن: ۰.۱۰ دلار ورودی، ۰.۴۰ دلار خروجی و ۰.۰۱ دلار cache read.
• cache read یک دهم ورودی تازه هزینه داره و برای ایجنت‌های کدنویسی خیلی به‌صرفه‌ست.
• حالت Standard ۵۰ توکن بر ثانیه و حالت Ultrafast تا ۲۰۰۰ توکن بر ثانیه سرعت داره.
• برای حالت Ultrafast هنوز قیمت جداگونه‌ای اعلام نشده.
• مدل MoE با ۱۵.۵ میلیارد پارامتر فعال از ۳۰۹ میلیارده و context یک میلیون توکنی داره.
• وزن‌ها با لایسنس MIT در دسترسه و میزبانی شخصی حدود ۳۱۵ گیگ حافظه می‌خواد.