‏مقایسهٔ کور تنسنت: Hy4 جلوتر از GLM 5.3 و Kimi K3

تو این مقاله اومده که تنسنت برای مدل جدیدش Hy4 preview، یه مدل MoE با ۷۷۰ میلیارد پارامتر کل و ۴۹ میلیارد پارامتر فعال، سراغ بنچمارک‌های تستیِ همیشگی نرفته. به‌جاش ۱۶۳ کارشناس داخلی خودش (مهندس نرم‌افزار، بازی‌ساز، تحلیلگر مالی و متخصص امنیت) خروجی مدل‌ها رو روی ۲۰۳ تسک واقعی، کور و بدون دونستن اسم مدل، مقایسه کردن.

عددها اینن: مقابل GLM 5.3 میانگین ۲.۹۹ در برابر ۲.۹۲، با ۴۶.۸ درصد برد، ۱۲.۸ درصد مساوی و ۴۰.۴ درصد باخت. مقابل Kimi K3 هم ۲.۹۹ در برابر ۲.۹۴، با ۵۱.۲ درصد برد، ۷.۹ درصد مساوی و ۴۰.۹ درصد باخت. یعنی برتری هست ولی نازکه؛ نویسنده هم می‌گه با این فاصله، بهتر بودن یا نبودن مدل بیشتر به تسک خاص تو بستگی داره.

به گفتهٔ نویسنده، روش کار هم مزیت داره هم ایراد. ارزیابی کورِ آدم روی کار واقعی، در برابر «آلودگی بنچمارک» (یعنی وقتی مدل جواب تست‌های عمومی رو تو دادهٔ آموزشش دیده) مقاوم‌تره. ولی تنسنت نه لیست تسک‌ها رو منتشر کرده نه معیار نمره‌دهی داورها رو، پس هیچ تیم بیرونی نمی‌تونه همین تست رو دوباره اجرا کنه. این اعداد رو باید نشونهٔ رقابتی بودن دونست، نه یه حکم مستقل.

از نظر معماری، مکانیزم توجه Gated DSA (نسخهٔ sparse از attention) به‌علاوهٔ IndexCache برای استفادهٔ دوباره از ایندکس‌ها بین لایه‌ها، و iHC که مسیر residual رو به چهار مسیر موازی پهن می‌کنه، دوتا انتخاب شاخصشن. هر دو ایده ریشه در کار DeepSeek و GLM دارن و نویسنده اینو نشونهٔ سرعت پخش‌شدن ایده‌های معماری بین آزمایشگاه‌های متن‌باز چینی می‌دونه.

برای تصمیم عملی، نویسنده می‌گه چیزی که بیشتر از نرخ برد اهمیت داره شرایط استقراره: لایسنس Apache 2.0 که استفادهٔ تجاری رو آزاد می‌ذاره، پشتیبانی روز اول از vLLM و SGLang با ایمیج‌های Docker، نسخهٔ کوانتایزشدهٔ FP8 و راهنمای finetune. تیمی که الان روی GLM یا Kimi سوار شده، احتمالاً دلیل کافی برای مهاجرت پیدا نمی‌کنه؛ اما کسی که تازه داره انتخاب می‌کنه، حالا یه گزینهٔ جدی سوم داره.

نکات کلیدی:

• ۱۶۳ کارشناس داخلی تنسنت، ۲۰۳ تسک واقعی مهندسی، ارزیابی کور به‌جای بنچمارک استاندارد
• ۲.۹۹ در برابر ۲.۹۲ برای GLM 5.3: ۴۶.۸٪ برد، ۱۲.۸٪ مساوی، ۴۰.۴٪ باخت
• ۲.۹۹ در برابر ۲.۹۴ برای Kimi K3: ۵۱.۲٪ برد، ۷.۹٪ مساوی، ۴۰.۹٪ باخت
• تسک‌ها و رابریک داوری منتشر نشدن، پس تست بیرون از تنسنت قابل تکرار نیست
• لایسنس Apache 2.0، کانتکست ۱ میلیون توکن، ایمیج رسمی vLLM و SGLang و چک‌پوینت FP8