Ternary Bonsai 2 9B: مدل بینایی ۹ میلیاردی تو ۲.۴ گیگ
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Ternary Bonsai 2 9B یه نسخهٔ به‌شدت فشرده از مدل بینایی-زبانی Qwen 3.5 9B هست که PrismaML ساخته. مدل‌های معمولی هر وزن رو با یه عدد ممیز شناور ۱۶ بیتی ذخیره می‌کنن، ولی اینجا ternary quantization استفاده شده، یعنی هر وزن فقط یکی از سه مقدار -1، 0 یا +1 رو می‌گیره. برای اینکه حس اندازهٔ وزن‌ها کامل از بین نره، برای هر گروه ۱۲۸ تایی از وزن‌ها یه ضریب مقیاس کوچیک نگه داشته میشه.
نتیجه اینه که حجم مدل از حدود ۱۷.۹ گیگ به نزدیک ۲.۴ گیگ تو فرمت GGUF می‌رسه، یعنی تقریباً هفت برابر کوچیک‌تر. پنجرهٔ context همون ۲۶۲ هزار توکن باقی مونده و مدل هنوز تصویر می‌فهمه. با llama.cpp لوکال اجرا میشه و تحت لایسنس Apache 2.0 منتشر شده. البته مصرف VRAM به مقدار context که واقعاً لود می‌کنی بستگی داره و با کم کردنش روی GPUهای کوچیک‌تر هم جا میشه.
تو تست‌های مقاله، مدل از روی عکس یه ساندویچ دونر، بعد از یه مرحله فکر کردن، کدی نوشت که یه انیمیشن چرخان جلوی آتیش رو تو مرورگر می‌ساخت و کار می‌کرد. نویسنده می‌گه این یعنی فشرده‌سازی هم درک تصویر و هم تولید کد رو سالم نگه داشته. تو تست استدلال علمی هم یه اینفوگرافیک تونل باد پر از دادهٔ ساختگی رو درست غیرقابل‌اعتماد تشخیص داد، ولی وسط کار عدد کوچیک‌ها رو اشتباه خوند، یه زاویهٔ stall از خودش ساخت و تو واحدها اشتباه حسابی کرد.
تو تست چندزبانه، مدل یه صحنهٔ رستوران رو به ۲۸ زبان توصیف کرد. زبان‌های پرکاربرد مثل اسپانیایی، پرتغالی و ماندارین خوب بودن. کره‌ای و اندونزیایی لغزش‌های کوچیک داشتن. زبان‌هایی مثل هندی، اردو و یونانی به‌هم‌ریخته شدن و کلمه‌های روسی و چینی لاشون اومد. زبان‌های کمیاب هم به تکرار متن بی‌معنی رسیدن.
تو تست آخر، مدل یه تصویر شلوغ رو دقیق توصیف کرد، ولی داستان طنزی که ازش خواسته شد منطقش رو از دست داد: دیالوگ‌های اردو ضعیف بودن، اصل ماجرا فراموش شد و پایان‌بندی با شروع جور درنمیومد. جمع‌بندی نویسنده اینه که درک تصویر سالم مونده، ولی هرجا انسجام چندمرحله‌ای لازمه مدل کم میاره. نسبت به Qwen کامل افت کیفیت واضحه، ولی نسبت به مدل‌های ternary قبلی همین خانواده پیشرفت محسوبه.
نکات کلیدی:
- وزن‌ها فقط سه مقدار -1، 0 و +1 دارن و برای هر گروه ۱۲۸ تایی یه ضریب مقیاس نگه داشته میشه.
- حجم از حدود ۱۷.۹ گیگ به ۲.۴ گیگ تو فرمت GGUF رسیده، تقریباً هفت برابر کمتر.
- پنجرهٔ context همون ۲۶۲ هزار توکنه و مدل با llama.cpp و لایسنس Apache 2.0 لوکال اجرا میشه.
- کد ساختن از روی تصویر و توصیف صحنه خوب موند، ولی عددها و استدلال جزئی قابل‌اعتماد نیستن.
- کیفیت خروجی تو ۲۸ زبان با کمیاب‌تر شدن زبان افت می‌کنه و زبان‌های کمیاب به متن تکراری بی‌معنی می‌رسن.
