اجرای Ornith-1.5 122B روی سیستم شخصی: تست کدنویسی و تصویر با llama.cpp
هوش مصنوعیClaude Opus 5.5خلاصهٔ کامل‌تر
Ornith-1.5 122B یه مدل mixture-of-experts (MoE) از Ornith AI با لایسنس MIT هست، یعنی برای هر توکن فقط بخشی از پارامترها کار می‌کنن. حدود ۱۲۲ میلیارد پارامتر داره، تصویر هم می‌فهمه و context بالای ۲۶۰ هزار توکن رو ساپورت می‌کنه. تو Hugging Face زیر معماری qwen3_5_moe ثبت شده. شعار سازنده «قوی‌تر، سریع‌تر، سبک‌تر» نسبت به نسخه‌ی قبلیه و بیشتر برای کدنویسی و کارهای ایجنتی ساخته شده تا گپ زدن.
برای اجرای لوکال، یه نسخه‌ی GGUF (یعنی فرمت کوانتایزشده‌ای که llama.cpp می‌خونه) از یه کوانتایزر به اسم Atomic Chat استفاده شده. سرور llama.cpp با یه دستور بالا میاد و هم API می‌ده هم یه رابط وب ساده. چون مدل تصویر می‌گیره، فایل‌های processor و preprocessor که کنار وزن‌ها هستن هم لازمن تا توکن‌های تصویر درست پردازش بشن.
به گفته‌ی نویسنده، مهم‌ترین نکته اینه که مصرف VRAM بیشتر به طول context بستگی داره تا خود وزن‌ها. تو تست، VRAM زیاد مصرف شد چون context بزرگی تنظیم شده بود. پس ساده‌ترین راه کم کردن مصرف حافظه، کوتاه کردن context هست. نویسنده پیشنهاد می‌کنه با یه quant متوسط و context خیلی کمتر از حداکثر شروع کنی. quantهای کم‌بیت حجم رو کم می‌کنن ولی دقت پایین میاد، و تنها راه پیدا کردن تعادل مناسب، تست چند quant روی سخت‌افزار خودته.
تو تست کدنویسی، مدل به یه اپ قدیمی محاسبه‌ی ارث که تو Docker اجرا می‌شد دسترسی گرفت. باگش این بود که به وارثی که قبل از متوفی مرده هم سهم می‌داد، در حالی که طبق وصیت‌نامه باید ۳۰ روز بیشتر زنده می‌موند. فقط هدف بهش گفته شد، بدون هیچ سرنخی. مدل خط اشتباه رو پیدا و درست کرد، چند مورد مشکوک دیگه رو هم گزارش داد و منطق بقیه‌ی اپ رو خراب نکرد. طبق نمودارها، تو SWE-Bench Pro هم از رقبای هم‌اندازه مثل Nemotron 3.5 Super جلوتره.
تو تست تصویر، مدل عکس یه خورش کاری (curry) رو با بررسی چند احتمال (تایلندی، کارائیبی، شمال هند) شناخت و یه دستور پخت کامل نوشت. یه معمای مدار برقی از روی تصویر رو هم درست حل کرد و یه انیمیشن خالکوبی تو یه فایل HTML بدون هیچ کتابخونه‌ای ساخت. ایرادش اینه که حتی روی سؤال‌های ساده‌ی تصویری خیلی طولانی فکر می‌کنه و کند میشه. ترجمه برای زبان‌های بزرگ مثل اسپانیایی، ژاپنی و عربی خوب بود، ولی برای تایلندی، زولو و هاوایی خروجی‌ها اشتباه یا ساختگی به نظر می‌رسید.
نکات کلیدی:
- لایسنس MIT، معماری qwen3_5_moe، حدود ۱۲۲ میلیارد پارامتر و context بالای ۲۶۰ هزار توکن
- اجرا با سرور llama.cpp و وزن‌های GGUF، با API و رابط وب داخلی
- مصرف VRAM بیشتر از همه به طول context بستگی داره، نه حجم مدل
- باگ منطقی اپ ارث رو بدون راهنمایی پیدا و درست کرد
- روی تصویرهای ساده هم استدلالش طولانیه؛ ترجمه به تایلندی، زولو و هاوایی ضعیفه
