اجرای محلی Hy4-Flash تنسنت؛ چی لازم داری؟
خلاصهٔ کاملتر
Hy4-Flash مدل open-weight جدید تنسنت از خانواده Hunyuan هست و طراحی Mixture-of-Experts داره، یعنی برای هر توکن فقط بخشی از مدل فعال میشه. کلش ۲۲۰ میلیارد پارامتره ولی هر توکن حدود ۱۲ میلیارد پارامتر فعال داره. به گفته مقاله، کل داستان اجرای محلی همین فاصلهست: باید جا و حافظه کافی برای همه وزنها داشته باشی، ولی هزینه محاسبه هر توکن نزدیک یه مدل dense کوچیکتره.
مدل ۴۲ لایه داره: یه لایه dense و ۴۱ لایه MoE. هر توکن به ۱۶ تا از ۵۱۲ متخصص و یه متخصص مشترک فرستاده میشه. سه تا چیز تو معماری برای انتخاب سختافزار مهمه. اول، attention ترکیبی: sparse attention به اسم IndexPool کنار sliding-window با نسبت ۱ به ۳، بهعلاوه MLA. نتیجهش KV cache (حافظهای که مدل برای متن قبلی نگه میداره) یکبیستوچهارم Hy3 و یکششم Hy4 شده؛ تو متنهای طولانی همین حافظه گلوگاه اصلیه.
دوم، Engram: یه جدول embedding با ۶۳.۵ میلیارد پارامتر که bigram و trigramها رو نگه میداره و با hash پیداشون میکنه. حجم زیادی از مدل رو میگیره ولی محاسبه خاصی اضافه نمیکنه، چون فقط یه lookup هست. سوم، DFly2: یه drafter پنجلایه با ۰.۸۵ میلیارد پارامتر برای speculative decoding (یعنی یه مدل کوچیک چند توکن رو حدس میزنه و مدل اصلی تأییدشون میکنه). چون KV cache مدل اصلی رو دوباره استفاده میکنه، دیگه یه KV cache دوم لازم نیست.
تنسنت سه نسخه داده: Hy4-Flash معمولی، Hy4-Flash-FP8 که حافظه رو تقریباً نصف میکنه و برای یه سرور چند GPU واقعبینانهتره، و Hy4-Flash-base برای fine-tune. یه نسخه GGUF هم از AngelSlim برای llama.cpp هست. نویسنده تأکید میکنه که حتی با quantization شدید، این مدل روی یه GPU معمولی جا نمیشه و برای workstation با حافظه زیاد یا چند GPU مناسبه.
برای سرو کردن، vLLM و SGLang پیشنهاد شدن و هر دو API سازگار با OpenAI میدن؛ پس فقط کافیه base URL رو به سرور خودت عوض کنی. پشتیبانی Transformers موقع انتشار هنوز merge نشده بود. مدل پارامتر reasoning_effort داره با دو حالت "high" (فکر کردن روشن، پیشفرض) و "no_think". تنظیمات پیشنهادی temperature=0.9 و top_p=1.0 هست.
به گفته مقاله، عددهای هزینه تنسنت (مثل ۰.۲۶ یوان برای هر کار) روی زیرساخت خودشون به دست اومده و شاید روی GPUهای تو تکرار نشه. اجرای محلی وقتی میصرفه که حریم خصوصی داده مهم باشه، حجم استفادهت بالا باشه یا بخوای از context یک میلیون توکنی بدون محدودیت API استفاده کنی. برای استفاده گاهبهگاه، endpoint آماده سادهتره.
نکات کلیدی:
- ۲۲۰ میلیارد پارامتر کل و حدود ۱۲ میلیارد فعال (۱۱.۳ متن و ۰.۴۳ تصویر)
- KV cache یکبیستوچهارم Hy3 و یکششم Hy4
- نسخه FP8 حافظه رو تقریباً نصف میکنه؛ GGUF برای llama.cpp هم موجوده
- سرو با vLLM یا SGLang و API سازگار با OpenAI
- reasoning_effort با دو حالت "high" و "no_think"؛ تنظیم پیشنهادی temperature=0.9
- context window تا یک میلیون توکن و سرعت بیش از ۱۵۰ توکن در ثانیه روی زیرساخت تنسنت




