بایتدنس سراغ مدل ۱۰ تریلیون پارامتری رفت
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
به گزارش فایننشال تایمز که ChainCatcher بازنشرش کرده، بایتدنس در حال آموزش یه مدل هوش مصنوعیه که مقیاسش ممکنه به سیستم پیشرفتهٔ Mythos شرکت Anthropic نزدیک بشه. سه منبع مطلع گفتن این مدل تو مراحل اولیهٔ آموزشه و تعداد پارامترهاش به سطح ۱۰ تریلیون میرسه.
برای اینکه بدونیم این عدد چقدر بزرگه: تقریباً سه برابر Kimi K3 از Moonshot AI هست، یعنی بزرگترین مدلی که تا حالا تو چین منتشر شده. یکی از منابع گفته مدل الان تو فاز pre-training هست؛ فازی که معمولاً سه تا شش ماه طول میکشه و بعدش نوبت fine-tuning و انتشار میرسه. مقیاس دقیق مدل هم بعداً نهایی میشه.
شرکت Anthropic تعداد پارامترهای مدلهاش رو اعلام نکرده، ولی تخمینهای صنعتی میگن پیشرفتهترین مدلش یعنی Mythos 5 حدود ۸ تریلیون و Fable 5 حدود ۵ تریلیون پارامتر داره. پس اگه بایتدنس به عدد ۱۰ تریلیون برسه، از این تخمینها هم جلو میزنه.
تو این گزارش تأکید شده که تعداد پارامتر فقط ظرفیت پایه یا سقف حافظهٔ مدل رو تعیین میکنه و عملکرد واقعی به عاملهای دیگهای مثل کیفیت داده و روش آموزش هم بستگی داره. یعنی بزرگتر بودن لزوماً به معنی بهتر بودن نیست.
نکات کلیدی:
- بایتدنس در حال پیشآموزش مدلی با تخمین ۱۰ تریلیون پارامتره
- این مقیاس حدود سه برابر Kimi K3، بزرگترین مدل منتشرشدهٔ چینه
- فاز pre-training معمولاً سه تا شش ماه طول میکشه و بعدش fine-tuning میاد
- تخمینها برای Mythos 5 حدود ۸ تریلیون و Fable 5 حدود ۵ تریلیون پارامتره
- تعداد پارامتر بهتنهایی کیفیت نهایی مدل رو تعیین نمیکنه
