‏اجرای محلی Sage A1.5 با llama.cpp

Sage A1.5 یه مدل ۳۵ میلیارد پارامتری از آزمایشگاه Intern تو شانگهای هست (همون تیمی که قبلاً Agent A1 رو ساخته بود). این مدل روی Qwen 3.6 ساخته شده و برای کارهای agentic تنظیم شده، یعنی کارهایی که مدل باید چند مرحله پشت سر هم فکر کنه، ابزار صدا بزنه و نتیجه‌ها رو چک کنه. تو این مقاله اومده که چطور می‌شه این مدل رو با llama.cpp روی سیستم خودت اجرا کرد.

نکتهٔ اصلی معماری mixture of experts (MoE) هست، یعنی برای هر توکن فقط یه بخش از پارامترها فعال می‌شن. برای همین مصرف حافظه‌ش از یه مدل dense هم‌اندازه خیلی کمتره. تو تست نویسنده، مدل با llama.cpp حدود ۳۸ گیگ VRAM مصرف کرده. این عدد راحت روی یه کارت ۴۸ گیگی مثل RTX 6000 Ada یا A6000 جا می‌شه، یا روی دو تا کارت ۲۴ گیگی مثل 4090 یا 3090. البته نویسنده می‌گه این عدد به quantization، طول context و نسخهٔ llama.cpp بستگی داره و یه مشخصهٔ رسمی نیست.

مهم‌ترین اهرم برای کم کردن مصرف حافظه، context window هست. هرچی context بلندتر باشه، KV cache (یعنی حافظه‌ای که مدل برای نگه داشتن متن قبلی لازم داره) بزرگ‌تر می‌شه. ولی نویسنده هشدار می‌ده که این مدل دقیقاً برای کارهای طولانی ساخته شده، پس اگه context رو زیادی کوچیک کنی، همون رفتار چندمرحله‌ای که مدل رو خاص می‌کنه از بین می‌ره. پیشنهادش اینه که اول تست کنی کیفیت از کجا افت می‌کنه.

آموزش مدل دو مرحله داره. اول برای هر حوزه (جستجوی طولانی، مهندسی نرم‌افزار، مهندسی ML و تحقیق علمی) یه مدل «معلم» جدا آموزش داده می‌شه. بعد همهٔ معلم‌ها با یه post-training مشترک تو یه مدل ادغام می‌شن. اینجا دو تا سیگنال با هم استفاده می‌شه: پاداش برای رسیدن به جواب درست، و on-policy distillation، یعنی معلم‌ها روی خروجی خود مدل شاگرد توکن به توکن بازخورد می‌دن. روی این مهارت‌ها دو لایهٔ اجرایی هم اضافه شده: orchestration (پخش کار بین چند sub agent موازی) و verification (چک کردن شواهد و اصلاح مسیر).

تو تست‌ها، مدل از طریق Hermes agent یه شبیه‌سازی gravity assist فضاپیما دور مشتری رو ساخته. بعد از بیشتر از یه ساعت فکر کردن و چهار tool call، نتیجهٔ شبیه‌سازی (۹.۹۹۶ کیلومتر بر ثانیه) دقیقاً با پیش‌بینی تحلیلی جور دراومده. تو یه تست دیگه کار رو بین سه sub agent موازی پخش کرده و یه گزارش واحد ساخته. تو تست تحلیل عکس هم درصد اطمینان کنار حدس‌هاش گذاشته و چیزهایی که نمی‌تونسته بفهمه رو صریح گفته، یعنی hallucination کنترل‌شده بوده.

جمع‌بندی نویسنده اینه که برای تحقیق، شبیه‌سازی علمی و کدنویسی چندمرحله‌ای، Sage A1.5 گزینهٔ خوبیه که روی یه GPU جا می‌شه. بنچمارک‌ها اون رو جلوتر از چند مدل بزرگ‌تر نشون می‌دن، ولی به گفتهٔ نویسنده تست روی کار خودت مهم‌تره. هزینه‌ش هم زمانه: اگه جواب سریع می‌خوای، یه مدل کوچیک‌تر به کارت میاد.

نکات کلیدی:

• Sage A1.5 یه مدل MoE با ۳۵ میلیارد پارامتره که روی Qwen 3.6 ساخته شده
• با llama.cpp حدود ۳۸ گیگ VRAM مصرف کرده و روی یه کارت ۴۸ گیگی یا دو کارت ۲۴ گیگی جا می‌شه
• کم کردن context window مصرف حافظه رو کم می‌کنه ولی ممکنه رفتار چندمرحله‌ای مدل رو خراب کنه
• آموزش دو مرحله‌ایه: معلم‌های جدا برای هر حوزه، بعد ادغام با reward و on-policy distillation
• تست شبیه‌سازی مشتری بیشتر از یه ساعت طول کشید و نتیجهٔ ۹.۹۹۶ km/s با پیش‌بینی تحلیلی یکی بود