‏اعداد Bonsai 2: کجا کم می‌آره؟

این مقاله سراغ اعداد Bonsai 2 27B رفته، کوانتیزیشنی که هر وزن مدل رو فقط به سه مقدار -۱، ۰ یا +۱ محدود می‌کنه. نویسنده اول یه نکتهٔ مقایسه‌ای رو روشن می‌کنه: بیشتر بیلدهایی که اسمشون «۲ بیتی»ـه واقعاً ۲ بیت نیستن. به گفتهٔ کارت مدل، یه بیلد ۲ بیتی پرکاربرد از همین Qwen3.8-27B بعد از حساب کردن متادیتاش عملاً حدود ۲.۸ بیت به ازای هر وزن و ۹.۴ گیگابایت درمیاد.

Bonsai 2 به جاش وزن رو به سه حالت می‌بره و برای هر گروه ۱۲۸تایی یه مقیاس ۱۶ بیتی نگه می‌داره، که سقف تئوریش حدود ۱.۷۱ تا ۱.۷۲ بیته. ولی بیت واقعی روی دیسک به ظرف ذخیره‌سازی بستگی داره: PTQ1_0 تو GGUF می‌شه ۱.۷۵ بیت، PQ2_0 می‌شه ۲.۱۳ بیت، و بستهٔ MLX که بنچمارک‌ها بیشتر روش اجرا شدن ۲.۲۵ بیت، چون فرمت بومی MLX برای هر گروه هم مقیاس و هم بایاس می‌خواد. مقادیر ته‌ش یکیه، مالیات ذخیره‌سازی فرق داره.

تفکیک دسته‌ها جای جالب ماجراست. ریاضی ۹۶.۵۷ شده، یعنی کمتر از نیم نمره پایین‌تر از دقت کامل. کدنویسی ۸۹.۴۲ و هم‌تراز نسخهٔ فشرده‌نشده‌ست. اما tool calling agentic (یعنی مدل خودش ابزار بیرونی رو صدا بزنه) روی ۷۴.۹۲ می‌ایسته که ضعیف‌ترین بخشه. الگوش می‌گه فشرده‌سازی شدید کارهایی با زنجیرهٔ استدلال کوتاه و مشخص، مثل حساب و منطق کد، رو خوب تحمل می‌کنه، ولی تصمیم‌های چندمرحله‌ای که خطای کوچیک توشون روی هم جمع می‌شه آسیب‌پذیرترن.

دلیل اینکه این سطح از فشرده‌سازی کلاً کار می‌کنه یه چرخش بلوکی هادامارد ـه که تو بلوک‌های ۱۰۲۴تایی و قبل از سه‌حالتی کردن روی ماتریس وزن اعمال می‌شه. تبدیل هادامارد یه چرخش متعامده، پس خودش اطلاعات از دست نمی‌ده، ولی انرژی مقادیر ماتریس رو یکنواخت‌تر پخش می‌کنه و اثر وزن‌های پرت کم می‌شه. چرخش آفلاین تو وزن‌ها تنیده شده و بیت اضافه نمی‌خواد، ولی رانتایم باید تبدیل متناظر رو روی activationها هم بزنه.

همین قید یه هزینهٔ عملی داره: لودر استاندارد MLX یا llama.cpp فایل رو بدون ارور بار می‌کنه و بی‌صدا خروجی غلط می‌ده، چون اون تبدیل رو رد می‌کنه. سر سرعت هم هیچ فرمتی همه‌جا برنده نیست. روی کارت‌هایی که به پهنای باند حافظه گیر می‌کنن، مثل RTX 4090 و L4، پکینگ سبک‌تر PTQ1_0 تولید توکن بهتری می‌ده چون ۱۷ درصد داده کمتری جابه‌جا می‌کنه. روی RTX 5090 و H100 که گلوگاه سرباره محاسبه و اجرای کرنله، PQ2_0 جلو می‌زنه.

نویسنده آخرش یه هشدار منصفانه می‌ده. مقایسه‌ها همه با کوانتیزیشن‌های دیگهٔ همون مدل پایه انجام شده، که روش درستیه چون اثر خود کوانتیزیشن رو جدا می‌کنه. ولی این اعداد منتشرشدهٔ خود سازنده‌ست و شخص سومی بازتولیدشون نکرده، پس تا تأیید مستقل بهتره به چشم ادعا نگاهشون کنی. با این حال یه چیز قابل انکار نیست: مدل ۵۴ گیگابایتی FP16 روی لپ‌تاپ اصلاً جا نمی‌شه و این نسخه روی M5 Max حدود ۴۷ توکن در ثانیه می‌ده.

نکات کلیدی:

• بیلد ۲ بیتی معمولی همون مدل پایه عملاً حدود ۲.۸ بیت به ازای هر وزن و ۹.۴ گیگابایته
• بیت واقعی Bonsai 2: ۱.۷۵ (GGUF PTQ1_0)، ۲.۱۳ (PQ2_0)، ۲.۲۵ (MLX)
• میانگین ۸۴.۷۸ تو ۱۴ بنچمارک، تا ۰.۴ نمره فاصله از یه بیلد ۴ بیتی با سه برابر حجم
• ریاضی ۹۶.۵۷، کدنویسی ۸۹.۴۲، tool calling agentic ۷۴.۹۲
• PTQ1_0 روی RTX 4090 و L4 برنده‌ست، PQ2_0 روی RTX 5090 و H100
• اعداد از کارت مدل خود سازنده‌ست و بازتولید مستقل نشده