‏مدل‌های هوش مصنوعی تا ۲۰۳۱ چه‌قدر بزرگ می‌شن؟

نویسنده اول توضیح می‌ده که سرعت تولید توکن به سرعت خونده‌شدن حافظهٔ HBM گره خورده، چون وزن‌ها و KV-cache باید از این حافظه خونده بشن. اگه یه سرعت مشخص تولید توکن رو هدف بگیری، این محدودیت روی تعداد مرحله‌های pipeline و در نتیجه روی کل پارامترهای مدل یه سقف می‌ذاره. برای همین اول زمان خوندن یه استک HBM رو برای نسل‌های مختلف چیپ حساب می‌کنه؛ مثلاً H100 حدود ۲۰ میلی‌ثانیه، GB200 حدود ۲۴، و چیپ‌های Rubin سال ۲۰۲۶ حدود ۱۳ میلی‌ثانیه.

با هدف‌گیری سرعت حدود ۸۰ توکن بر ثانیه برای هر درخواست (با فرض ۳ برابر شدن سرعت از طریق multi-token prediction)، نویسنده سقف طول pipeline رو برای هر نسل سخت‌افزار درمی‌آره. نتیجه یه سری کران بالا روی کل پارامترهاست: مثلاً حدود ۲۷ تریلیون با دو رک GB200 Oberon، ۴۴۲ تریلیون با چهار رک Rubin Ultra Kyber، و در نهایت حدود ۲.۹ کوادریلیون با سیستم‌های نسل دوم Feynman. اینا سقف چیزیه که سخت‌افزار اجازه می‌ده سرو بشه، نه لزوماً چیزی که ساخته می‌شه.

طرف دیگهٔ ماجرا محاسبات پیش‌آموزشه. نویسنده با فرض ۳ ماه آموزش و ۴۰ درصد بهره‌وری، مقدار FLOP هر سال رو با تکیه بر تخمینای مصرف برق دیتاسنترها حساب می‌کنه؛ از حدود 1.3e27 FLOP برای مدل ۲۰۲۶ تا 2.2e29 FLOP برای مدل ۲۰۳۱. توان محاسباتی هر شرکت هوش مصنوعی از حدود ۱۰ گیگاوات آخر ۲۰۲۷ به ۴۰ گیگاوات تو ۲۰۳۰ می‌رسه و بخشی از این توان صرف پیش‌آموزش می‌شه.

بعد از این محاسبات، تعداد پارامترهای active رو با استفاده از نسبت بهینهٔ توکن به پارامتر درمی‌آره؛ نسبتی که با میزان sparsity مدل (MoE) فرق می‌کنه. اینجا یه مشکل خودش رو نشون می‌ده: نویسنده فرض می‌کنه فقط حدود ۲۰۰ تریلیون توکن دیتای یکتا موجوده. از ۲۰۲۷ به بعد مدل‌ها به دیتای بیشتری از این نیاز دارن، پس کمبود باید بین تکرار epoch‌ها و بزرگ‌تر کردن مدل تقسیم بشه؛ همین باعث می‌شه مدل ۲۰۳۱ عملاً ۴ برابر بزرگ‌تر از چیزی بشه که با دیتای نامحدود لازم بود.

جمع‌بندی نویسنده اینه که سال ۲۰۲۴ بدترین سال از نظر محدودیت سخت‌افزار بوده، جایی که یه مدل بهینه حتی با ۸ برابر sparsity هم قابل‌سرو نبوده. تو ۲۰۲۳ و ۲۰۲۵ تا ۲۰۲۶ مدل‌های بهینه با ۸ برابر sparsity توی pipeline جا می‌شن، و از ۲۰۲۷ با HBM4 سریع‌تر تو Rubin وضع بهتر می‌شه. از ۲۰۲۸ که رک‌های Rubin Ultra Kyber کامل ساخته می‌شن، حتی مدل‌های بهینه با ۳۰ برابر sparsity هم قابل‌سرو می‌شن.

نویسنده تأکید می‌کنه از ۲۰۲۸ به بعد گلوگاه اصلی دیگه سخت‌افزار نیست، بلکه کمبود محاسبات و دیتای پیش‌آموزشه. تو بحث نظرات هم وقتی ازش می‌پرسن مدل‌های ۲۰۲۸ چه‌قدر تواناترن، توضیح می‌ده که رشد اندازه لزوماً برابر رشد توانایی نیست؛ به‌نظرش جهش توانایی از مدل ۲۰۲۶ به ۲۰۲۸ حدوداً به اندازهٔ فاصلهٔ Mythos 5 با Sonnet 4.5 یا GPT-5.1 هست. البته یادآوری می‌کنه که همهٔ این پیش‌بینی‌ها فقط تا وقتی معتبرن که پارادایم فعلی و مفروضاتش دست‌نخورده بمونه.

نکات کلیدی:

• سرعت تولید توکن به سرعت خوندن حافظهٔ HBM گره خورده و همین روی کل پارامترها سقف می‌ذاره
• تخمین اندازهٔ کل پارامترها: حدود ۱۰ تریلیون تو ۲۰۲۶، ۲۴۰ تریلیون تو ۲۰۲۸ و ۱.۴ کوادریلیون تو ۲۰۳۱
• تا ۲۰۲۶ سخت‌افزار محدودکننده‌ست؛ سال ۲۰۲۴ بدترین سال بوده
• از ۲۰۲۸ به بعد گلوگاه اصلی کمبود محاسبات و دیتای یکتای پیش‌آموزشه، نه سخت‌افزار
• کمبود دیتای یکتا (حدود ۲۰۰ تریلیون توکن) مدل ۲۰۳۱ رو ۴ برابر بزرگ‌تر از حالت دیتای نامحدود می‌کنه
• افزایش اندازهٔ مدل لزوماً برابر افزایش توانایی نیست و همهٔ تخمین‌ها وابسته به ماندن پارادایم فعلیه