‏حالت Ultrafast اوپن‌ای‌آی: هشت برابر سریع‌تر، شش برابر گرون‌تر

اوپن‌ای‌آی تو رویداد dev day خودش یه سطح جدید از inference (یعنی مرحله‌ای که مدل جواب رو تولید می‌کنه) به اسم Ultrafast معرفی کرد. این حالت حدود ۳۰۰ توکن در ثانیه خروجی می‌ده که تقریباً هشت برابر سرعت معمول ChatGPT هست. طبق گزارش‌ها، این سرعت به‌خاطر اجرا روی چیپ‌های Cerebras به دست میاد، نه روی GPUهای همیشگی اوپن‌ای‌آی. Ultrafast فعلاً «به‌زودی» اعلام شده و هنوز در دسترس نیست.

سم آلتمن گفته هزینهٔ Ultrafast شش برابر inference معمولیه. به گفتهٔ نویسنده، دلیلش اینه که چیپ‌های Cerebras (چیپ‌های wafer-scale، یعنی یه چیپ غول‌پیکر به اندازهٔ کل ویفر سیلیکونی) گرون‌تر از سرویس‌دهی با GPU هستن و اوپن‌ای‌آی این هزینه رو مستقیم به کاربر منتقل می‌کنه. نویسنده معتقده این قابلیت برای همه نیست و بیشتر به درد کارهایی می‌خوره که تأخیر توشون مهمه، مثل دستیارهای صوتی، دستیارهای کدنویسی real-time، یا workflowهای agent که چندتا فراخوانی مدل رو پشت سر هم اجرا می‌کنن و تأخیرها روی هم جمع می‌شه.

دسترسی به Ultrafast فقط با پلن جدید Pro-500 ممکنه که ماهی ۵۰۰ دلاره. حالا پلکان قیمت‌های ChatGPT چهار پله داره: ۲۰ دلار (Plus)، ۱۰۰ دلار (Pro)، پلن ۲۰۰ دلاری که دوباره فعال شده، و Pro-500. نکتهٔ مهم اینه که سهمیهٔ استفادهٔ پلن ۲۰۰ دلاری کم شده. یعنی کسی که قبلاً با ۲۰۰ دلار همون سطح دسترسی رو داشت، حالا عملاً باید بره سراغ ۵۰۰ دلاری. پلن Pro-500 دسترسی به marketplace ابزارها و اپ‌های third-party رو هم شامل می‌شه.

نویسنده تأکید می‌کنه که عدد ۳۰۰ توکن در ثانیه و ادعای «۸ برابر سریع‌تر» از ارائهٔ خود اوپن‌ای‌آی اومده، نه از تست مستقل. پس تا وقتی منتشر نشه، معلوم نیست این سرعت با promptها، مدل‌ها و بار مختلف چقدر ثابت می‌مونه. هنوز هم مشخص نیست Ultrafast از طریق API هم عرضه می‌شه یا فقط مخصوص اشتراک ChatGPT هست. اگه فقط اشتراکی بمونه، برای توسعه‌دهنده‌هایی که روی API محصول می‌سازن کاربرد زیادی نداره.

تو همین رویداد چیزای دیگه‌ای هم معرفی شد: مدل ارزون‌تر GPT-6.1 Sol با قیمت ۲ دلار برای هر میلیون توکن ورودی و ۱۰ دلار برای خروجی (در مقابل ۱۰ و ۵۰ دلار برای GPT-6 Astra)، دستیار همیشه‌روشن Dot برای پلن Pro به بالا، Private Intelligence برای پردازش محرمانه، Codex در کلود، Decisions API و قابلیت‌های همکاری Spaces و Pages. به گفتهٔ نویسنده، اوپن‌ای‌آی هم‌زمان روی دو جبهه کار می‌کنه: مدل‌های ارزون برای کارهای حساس به هزینه، و سطح‌های گرون و پرسرعت برای کسایی که حاضرن بیشتر پول بدن.

نکات کلیدی:

• Ultrafast حدود ۳۰۰ توکن در ثانیه تولید می‌کنه، تقریباً ۸ برابر ChatGPT معمولی
• روی چیپ‌های Cerebras اجرا می‌شه، نه GPUهای معمول اوپن‌ای‌آی
• هزینهٔ inference اون ۶ برابر حالت استاندارده
• فقط برای پلن Pro-500 با قیمت ماهی ۵۰۰ دلار در دسترسه
• سهمیهٔ پلن ۲۰۰ دلاری کم شده
• هنوز تاریخ انتشار، بنچمارک مستقل یا نسخهٔ API براش اعلام نشده
• مدل GPT-6.1 Sol با قیمت ۲ و ۱۰ دلار برای هر میلیون توکن ورودی و خروجی معرفی شد