کوانتایز Dynamic v3.0 آنسلوت: دقت بیشتر با همون حجم
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
آنسلوت (Unsloth) روش Dynamic v3.0 رو منتشر کرده؛ نسخه جدید تکنیک کوانتایز کردن (یعنی فشرده کردن وزنهای مدل زبانی به فرمتهای کوچیکتر مثل ۲ یا ۴ بیتی تا مدل روی کارت گرافیک ضعیفتر یا حتی سیپییو جا بشه) که این بار روی مدل Qwen3.8-27B پیاده شده. طبق ادعای تیم آنسلوت، این کوانتایزها با همون حجم دیسک، بیش از ۱۰ درصد دقت top-1% (یعنی درصد پاسخهایی که مدل درست حدس میزنه) بیشتر از هر ارائهدهنده دیگهای دارن.
نویسنده میگه فرق اصلی v3.0 اینه که از یه دیتاست کالیبراسیون باکیفیتتر و متنوعتر استفاده کرده که مخصوص کدنویسی عاملمحور، چت و چندزبانگی تنظیم شده، و لایهبندی (layer selection) رو هم بهتر کرده. تیم تاکید میکنه که هیچوقت روی همون دیتاست کالیبراسیون آموزش نمیده و از QAT یا QAD (روشهایی که مدل رو از قبل برای کوانتایز شدن آماده میکنن) استفاده نمیکنه؛ همهچیز فقط از طریق کوانتایز بعد از آموزش (PTQ) انجام میشه تا نتیجه واقعی باشه، نه بیشبرازششده روی دیتای تست.
برای سنجش دقت، آنسلوت معیار جدیدی به اسم Divergence-300@32 ساخته: ۳۰۰ نمونه که تو دیتاست کالیبراسیون نبودن، از منابعی مثل Terminal-Bench و DeepSWE گرفته شدن و مدل باید ۳۲ توکن پشت سر هم رو درست پیشبینی کنه. طبق این معیار و بنچمارکهای KL Divergence، کوانتایزهای UD-3 تا ۱۰ درصد دقت بیشتر از رقبا با همون حجم دیسک دارن.
یه نمونهش UD-Q2_K_XL هست؛ با حجم ۹.۸۳ گیگابایت، حدود ۸ درصد دقیقتر از بهترین رقیبشه و تونسته یه برنامه HTML با فقط یه باگ کوچیک جاوااسکریپت بسازه، در حالی که قبلاً همین کوانتایز کلاً کار نمیکرد.
برای صرفهجویی تو حجم، ماژول MTP (بخش کمکی که به پیشبینی چند توکن همزمان کمک میکنه) از کوانتایزهای کوچیکتر از ۸.۳۷ گیگابایت حذف شده که حدود ۵۰۰ مگابایت جا باز میکنه؛ در صورت نیاز میشه ماژول MTP رو جدا، از فرمت Q4_0 اضافه کرد. یه کوانتایز خیلی سبکتر هم به اسم UD-IQ1_S ساخته شده که فقط ۶.۲ گیگابایته (بدون MTP) و با اینکه ۸۹ درصد کوچیکتره، حدود ۷۲ درصد دقت مدل اصلی رو حفظ میکنه.
این کوانتایزهای جدید روی موتورهای رایج مثل llama.cpp و اپلیکیشن Unsloth Desktop هم بهراحتی اجرا میشن؛ یعنی کسایی که میخوان مدلهای بزرگ رو روی سختافزار محدودتر اجرا کنن، بدون تغییر تنظیمات میتونن از نسخه جدید استفاده کنن.
نکات کلیدی:
- کوانتایزهای Qwen3.8-27B با Dynamic v3.0: بیش از ۱۰٪ دقت top-1% بهتر از رقبا با همون حجم دیسک
- UD-Q2_K_XL: حجم ۹.۸۳ گیگابایت، حدود ۸٪ دقیقتر از بهترین رقیب
- UD-IQ1_S: فقط ۶.۲ گیگابایت (بدون MTP)، حدود ۷۲٪ دقت با ۸۹٪ کاهش حجم
- حذف ماژول MTP از کوانتایزهای زیر ۸.۳۷ گیگابایت، حدود ۵۰۰ مگابایت صرفهجویی
- بدون QAT یا QAD؛ فقط کوانتایز بعد از آموزش (PTQ) خالص
- سازگار با llama.cpp و Unsloth Desktop
