AutoRound: کوانتیزاسیون پیشرفته برای مدلهای زبانی بزرگ
AutoRound یه ابزار کوانتیزاسیون پیشرفته برای مدلهای زبانی بزرگ (LLM) و مدلهای ترکیبی بینایی-زبان (VLM) هست که با استفاده از روش sign-gradient descent میتونه مدلها رو تا ۲ تا ۴ بیت فشرده کنه بدون افت دقت چشمگیر. این ابزار با اکوسیستمهای معروفی مثل Transformers، vLLM و SGLang ادغام شده و از فرمتهای مختلف مثل AutoGPTQ، AutoAWQ و GGUF پشتیبانی میکنه. یه مدل ۷ میلیارد پارامتری رو میشه در حدود ۱۰ دقیقه روی یه GPU کوانتیز کرد و مدل DeepSeek-R1 با وزن ۲۰۰ گیگابایت هم با همین روش ۹۷.۹٪ دقت اصلیش
این محتوا بهصورت خودکار با استفاده از هوش مصنوعی تولید شده است. بررسی نهایی آن پیش از استفاده توصیه میشود و مسئولیت استفاده از آن بهعهده کاربر است. برای مطالعه متن اصلی خبر،اینجا را کلیک کنید




