‏هوش مصنوعی ارزون‌تر می‌شه — ولی چرا؟

هزینه‌ی اجرای مدل‌های هوش مصنوعی — که بهش AI inference می‌گن — داره با سرعت چشمگیری کاهش پیدا می‌کنه؛ تقریباً ۷۰ تا ۹۰ درصد در سال. گویدو اپنزلر این پدیده رو «LLMflation» نام‌گذاری کرده و می‌گه قیمت‌ها در سه سال گذشته هزار برابر افت داشتن. ولی چرا اکثر آدم‌ها حس می‌کنن AI گران‌تر شده؟ چون ما همزمان داریم از مدل‌های بزرگ‌تر و قدرتمندتر استفاده می‌کنیم — درست مثل قانون مور که کامپیوترها رو ارزون‌تر کرد، اما ما هم همزمان کامپیوترهای بزرگ‌تری می‌خریدیم.

نویسنده‌ی این مقاله، جیمز وانگ، به خاطر یه تغییر مهم از طرف آنتروپیک مجبور شد این موضوع رو از نزدیک بررسی کنه. آنتروپیک اعلام کرد از ۱۵ ژوئن ۲۰۲۶، استفاده از claude -p (روشی که اغلب عوامل خودکار باهاش اجرا می‌شن) دیگه در اشتراک معمول نیست و باید با نرخ کامل API پرداخت بشه — که تقریباً ۲۵ برابر گران‌تره. هزینه‌ی ماهانه‌ی سیستم‌های خودکار وانگ با این نرخ‌ها بین ۲۰۰۰ تا ۳۰۰۰ دلار می‌شد.

وانگ برای پیدا کردن جایگزین، مدل Qwen 3.6 27B رو روی کارت گرافیک گیمینگ چهار ساله‌اش (RTX 3090 Ti) اجرا کرد و نتیجه شگفت‌زده‌اش کرد. این مدل متن‌باز و رایگان، در کارهای روزمره‌اش — از جمله خلاصه‌سازی اخبار روزانه، امتیازدهی به مقالات علمی، و تفسیر نمودار — عملکردی مشابه Claude Sonnet از آنتروپیک داشت. نتیجه‌ی عملی؟ فقط هزینه‌ی امتیازدهی به مقالات که ماهی ۱۲۰ دلار روی Sonnet بود، روی سخت‌افزار شخصی به صفر رسید.

اما داستان جالب‌تر اینه که چرا این اتفاق افتاده. سخت‌افزار وانگ تغییری نکرده — همون 3090 Ti قدیمیه. پس چی عوض شده؟ تحقیقات MIT و استنفورد هر دو نشون می‌دن که بخش عمده‌ی کاهش هزینه‌ی inference به پیشرفت‌های نرم‌افزاری و معماری مدل برمی‌گرده، نه به چیپ‌های جدید. سهم سخت‌افزار بین یک‌چهارم تا یک‌سوم تخمین زده می‌شه. به عنوان مثال، NVIDIA با آپدیت‌های نرم‌افزاری روی همون H100، throughput اجرای Llama 2 70B رو در یه سال ۱.۵ برابر کرد — بدون هیچ سخت‌افزار جدیدی.

این پیشرفت‌های نرم‌افزاری شامل تکنیک‌هایی مثل MoE (Mixture of Experts — ترکیب چند مدل تخصصی به جای یه مدل بزرگ)، distillation (انتقال دانش از مدل بزرگ به مدل کوچک‌تر)، و quantization (کاهش دقت اعداد برای اشغال حافظه‌ی کمتر) می‌شه. همین‌طور که نویسنده داشت روی این مقاله کار می‌کرد، یه pull request در پروژه‌ی llama.cpp ادغام شد که throughput مدل Qwen روی همون 3090 Ti رو تقریباً دو برابر کرد.

این روند نتایج بزرگی داره. Epoch AI تخمین می‌زنه که مدل‌های فرانتیر در عرض ۶ تا ۱۲ ماه پس از انتشار، روی یه GPU گیمینگ قوی قابل اجرا می‌شن. قیمت مدل‌های متن‌باز در ابر داره به سمت هزینه‌ی برق محلی — حدود ۰.۲۰ تا ۰.۵۰ دلار به ازای هر میلیون توکن — همگرا می‌شه. این یعنی آزمایشگاه‌های بزرگ AI نمی‌تونن هر قیمتی بخوان بذارن، چون کاربران گزینه‌های واقعی دارن.

نکات کلیدی:

• هزینه‌ی inference هوش مصنوعی سالانه ۷۰-۹۰٪ کاهش داره، اما استفاده از مدل‌های قوی‌تر این ارزانی رو پنهان می‌کنه
• بیشتر این کاهش هزینه از پیشرفت‌های نرم‌افزاری و معماری مدل‌هاست، نه از چیپ‌های جدید
• مدل Qwen 3.6 27B روی GPU گیمینگ چهار ساله عملکردی مشابه Claude Sonnet داشته
• تکنیک‌هایی مثل quantization، distillation و MoE نقش اصلی رو در این بهبود داشتن
• مدل‌های متن‌باز محلی دارن به سقفی برای قدرت قیمت‌گذاری آزمایشگاه‌های فرانتیر تبدیل می‌شن
• Epoch AI پیش‌بینی می‌کنه مدل‌های فرانتیر در ۵-۱۰ سال آینده روی گوشی‌های موبایل قابل اجرا باشن