Ternary Bonsai 2 9B: مدل 9 میلیاردی Qwen تو 2.4 گیگ
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Ternary Bonsai 2 9B نسخهٔ فشرده‌شدهٔ مدل Qwen3.5-9B هست که شرکت Prism ML با فرمت GGUF (یعنی فرمت فایلی که llama.cpp برای اجرای محلی مدل‌ها استفاده می‌کنه) منتشر کرده. حجم مدل از 17.9 گیگ به حدود 2.4 گیگ رسیده، یعنی تقریباً هفت برابر کوچیک‌تر. مدل vision-language هست، یعنی هم عکس می‌گیره هم متن، و همون context window 262 هزار توکنی مدل اصلی رو نگه داشته. وزن‌ها هم با لایسنس Apache 2.0 منتشر شدن.
راز این کوچیک شدن ternary quantization هست. تو مدل‌های معمولی هر وزن یه عدد 16 بیتی دقیقه، مثل 0.82 یا -0.07. اینجا هر وزن فقط یکی از سه مقدار -1، 0 یا +1 می‌تونه باشه. برای اینکه اندازهٔ کلی وزن‌ها گم نشه، برای هر گروه 128تایی از وزن‌ها یه ضریب مقیاس جدا ذخیره میشه. تو مخزن Hugging Face چند نسخهٔ دیگه هم هست، مثل Q2_0، PQ2_0، PTQ1_0 و DFlash2، که هر کدوم بین حجم، سرعت و دقت یه جور تعادل برقرار می‌کنن.
برای اجرا با llama.cpp، علاوه بر فایل اصلی GGUF به فایل mmproj هم احتیاج داری (یعنی بخشی که عکس‌ها رو برای مدل زبانی رمزگذاری می‌کنه) که تو نسخه‌های BF16 و Q8_0 هست. با پارامتر -c طول context رو تعیین می‌کنی. اگه کل 262 هزار توکن رو نخوای، کم کردنش ساده‌ترین راه برای کم کردن مصرف VRAM هست. طبق تگ‌های مخزن، مدل روی CUDA و Metal کار می‌کنه، یعنی هم روی کارت‌های Nvidia هم روی Apple Silicon.
تو تست‌هایی که Fahad Mirza انجام داده، مدل از روی عکس یه کباب دونر کد انیمیشنی نوشت که سیخ چرخون رو تو مرورگر نشون می‌داد. تو تست ترجمه به 28 زبان، اسپانیایی، پرتغالی و چینی ماندارین خوب بودن، ولی کره‌ای و اندونزیایی افت داشتن و هندی، اردو، یونانی و چندتا زبان آفریقایی کاملاً به‌هم‌ریخته بودن. تو تست استدلال علمی، مدل درست تشخیص داد که یه اینفوگرافیک تونل باد قابل‌اعتماد نیست، ولی خودش عددهایی ساخت که تو عکس نبود و اشتباه محاسباتی هم کرد.
به گفتهٔ مقاله، معاملهٔ اصلی اینجا دقت در برابر قابل‌حمل بودنه. مدل تو فهم عکس، کدنویسی برای کارهای مشخص و زنجیرهٔ استدلال خوب عمل می‌کنه، ولی تو عددهای دقیق، زبان‌های کم‌رایج و انسجام داستان‌های طولانی ضعیفه. نویسنده معتقده برای نمونه‌سازی سریع، توصیف عکس و کدنویسی ساده کافیه، ولی هرجا عدد دقیق مهمه باید خروجی رو دوباره چک کنی.
نکات کلیدی:
- پایه‌ش Qwen3.5-9B هست و از 17.9 گیگ به حدود 2.4 گیگ رسیده.
- هر وزن یکی از مقدارهای -1، 0 یا +1 هست، با یه ضریب مقیاس برای هر 128 وزن.
- context window مدل 262 هزار توکنه و با پارامتر -c تو llama.cpp میشه کمش کرد تا VRAM کمتری بخوره.
- برای ورودی عکس فایل mmproj جدا لازمه (BF16 یا Q8_0).
- تو زبان‌هایی مثل هندی، اردو و یونانی خروجی به‌هم‌ریخته‌ست و گاهی عدد از خودش می‌سازه.
- لایسنس Apache 2.0 هست و استفادهٔ تجاری معمولاً مجازه.
