‏تنسنت مدل غول‌پیکر Hi-4 پریویو رو با ۷۷۰ میلیارد پارامتر منتشر کرد

تنسنت به‌تازگی Hunyuan Hi-4 پریویو رو منتشر کرده؛ یه مدل زبانی بزرگ که وزن‌هاش رو زیر لایسنس Apache 2.0 و به‌صورت کاملاً باز روی Hugging Face گذاشته. این مدل از نوع mixture-of-experts ـه (یعنی به‌جای این‌که کل مدل برای هر ورودی کار کنه، فقط یه بخش کوچیک از «کارشناس»‌های داخلیش فعال می‌شن) و رقم پارامترهاش سرسام‌آوره: ۷۷۰ میلیارد پارامتر کل، ولی فقط ۴۹ میلیاردش برای هر توکن فعال می‌شه. از بین ۲۵۶ اکسپرت مسیریابی‌شده به‌علاوه یه اکسپرت مشترک، هر بار فقط ۸ تاشون کار می‌کنن.

یکی دیگه از تکه‌های کلیدی معماریش gated sparse attention ـه؛ یعنی به‌جای این‌که مدل روی کل متن ورودی محاسبه‌ی attention کامل انجام بده (که هزینه‌ش با مربع طول متن بالا می‌ره)، فقط روی مهم‌ترین بخش‌های یه متن طولانی تمرکز می‌کنه. همین ترفنده که به Hi-4 پریویو اجازه می‌ده پنجره‌ی زمینه‌ای بیش از ۱ میلیون توکن رو پشتیبانی کنه، بدون این‌که هزینه‌ی استنتاج از کنترل خارج بشه. تنسنت این مدل رو مخصوص کارای ایجنتی مثل کدنویسی، برنامه‌ریزی چندمرحله‌ای و استفاده از ابزار طراحی کرده، نه یه چت‌بات عمومی.

تو بنچمارک‌های عمومی، Hi-4 پریویو نزدیک بالای جدول مدل‌های متن‌بازه: ۹۲.۳ رو GPQA Diamond (بنچمارک استدلال علمی سطح دکتری)، ۸۵.۴ رو Terminal-Bench (کارای ایجنتی خط فرمان) و ۸۲.۹ رو SWE-Bench Multilingual (مسائل واقعی مهندسی نرم‌افزار به چند زبون) گرفته. با این حال هنوز از مدل‌های بسته‌ی پیشرو مثل Opus و مدل‌های رده‌ی GPT-5 تو سخت‌ترین تسک‌ها عقبه.

تنسنت یه ارزیابی داخلی هم با ۱۶۳ داور متخصص رو ۲۰۳ تسک واقعی انجام داده که توش Hi-4 پریویو با نمره‌ی ۲.۹۹ از ۴، از Kimi K3 (۲.۹۴) و GLM 5.3 (۲.۹۲) جلو زده؛ چون این ارزیابی خودِ تنسنته، باید به‌عنوان یه داده‌ی کمکی دید نه رتبه‌بندی قطعی. تنسنت همچنین می‌گه از خودِ این مدل برای بهینه‌سازی پایپ‌لاین آموزشیش استفاده کرده و تونسته توان عملیاتی رو حدود ۳۱.۸ درصد بالا ببره؛ البته این هم فعلاً فقط ادعای خودِ شرکته.

نکته‌ی جذاب این انتشار قیمتشه: از طریق Token Hub تنسنت‌کلاود، هر میلیون توکن ورودی ۰.۸۳۴ دلار، هر میلیون توکن خروجی ۲.۰۰۱ دلار و کش‌شده فقط ۰.۰۴۲ دلار آب می‌خوره؛ یعنی ارزون‌ترین مدل غول‌پیکر متن‌باز بازار، به‌جز DeepSeek V4 Flash که هنوزم ارزون‌تره. اما اجرای لوکالش عملاً غیرممکنه: نسخه‌ی BF16 حدود ۱.۸ ترابایت و نسخه‌ی فشرده‌ی FP8 حدود ۹۰۰ گیگابایت حافظه می‌خواد، یعنی چیزی در حد ۱۶ تا GPU درجه‌یک مثل B200 لازمه.

نکات کلیدی:

• ۷۷۰ میلیارد پارامتر کل، فقط ۴۹ میلیارد فعال در هر توکن، با ۲۵۶ اکسپرت مسیریابی‌شده
• پنجره‌ی زمینه‌ای بیش از ۱ میلیون توکن با gated sparse attention
• بنچمارک: ۹۲.۳ در GPQA Diamond، ۸۵.۴ در Terminal-Bench، ۸۲.۹ در SWE-Bench Multilingual
• قیمت API: هر میلیون توکن ورودی ۰.۸۳۴ دلار، خروجی ۲.۰۰۱ دلار، کش ۰.۰۴۲ دلار
• اجرای لوکال عملاً غیرممکنه؛ نسخه‌ی FP8 حدود ۹۰۰ گیگابایت حافظه لازم داره