آموزش اجرای Nex-N2.5 Mini رو RunPod
هوش مصنوعیخلاصهٔ کامل‌تر
Nex-N2.5 Mini، عضو کوچیک‌تر خانواده مدل‌های عامل‌محور Nex AGI، برای اجرا شدن به سخت‌افزار سنگینی نیاز داره: دو تا گرافیک‌کارت ۸۰ گیگابایتی مثل H100. این راهنما مرحله‌به‌مرحله نشون می‌ده چطور این مدل رو رو RunPod، یه سرویس اجاره گرافیک‌کارت، بالا بیاری و به یه اندپوینت سازگار با OpenAI برسی.
نکته اصلی، ساخت یه تمپلیت سفارشیه، نه استفاده از تمپلیت‌های آماده‌ای مثل vLLM یا Ollama. باید یه تمپلیت جدید بسازی و اون رو به کانتینر داکر SGLang که خود Nex AGI رو صفحه مدل منتشر کرده وصل کنی، چون این مدل مخصوص سرو شدن با SGLang طراحی شده. بعد باید نوع گرافیک‌کارت رو H100 و تعدادش رو دو تا انتخاب کنی، فضای ذخیره‌سازی (۱۵۰ گیگ تو تست کافی بوده) رو تنظیم کنی، و پاد رو راه بندازی.
بعد از بالا اومدن پاد، از طریق SSH یا ترمینال وب RunPod بهش وصل می‌شی، وزن‌های مدل رو دانلود می‌کنی، و SGLang رو با موازی‌سازی تنسور (TP) روی مقدار ۲ اجرا می‌کنی تا بار کار بین دو کارت تقسیم بشه. تو تست واقعی، هر کارت حدود ۶۶ گیگابایت حافظه مصرف کرد که با توجه به ظرفیت ۸۰ گیگی هر کارت، جای کافی برای کش و درخواست‌های همزمان می‌مونه.
نتیجه نهایی یه اندپوینت سازگار با OpenAIـه که می‌تونی مستقیم بهش درخواست بفرستی، با سرعتی بالای ۲۰۰ توکن در ثانیه که برای کاربردهای تعاملی و چرخه‌های استدلال چندمرحله‌ای عامل‌محور مناسبه. نویسنده می‌گه اگه دنبال بهترین امتیاز ممکن رو بنچمارک‌ها هستی، مدل‌های فرانت‌لاین مثل Claude Opus یا Gemini بهتر عمل می‌کنن؛ ولی اگه می‌خوای یه مدل وزن‌باز و قابل کنترل کامل داشته باشی که خودت میزبانیش کنی، این گزینه میان‌رده منطقیه.
نکات کلیدی:
- حداقل سخت‌افزار لازم: دو گرافیک‌کارت ۸۰ گیگی مثل H100، با موازی‌سازی تنسور TP=2
- باید یه تمپلیت سفارشی رو کانتینر داکر SGLang خود Nex AGI بسازی، نه تمپلیت‌های عمومی vLLM یا Ollama
- ۱۵۰ گیگ فضای ذخیره‌سازی برای دانلود وزن‌ها و کانتینر کافی بود
- مصرف واقعی حافظه: حدود ۶۶ گیگ رو هر کارت از ظرفیت ۸۰ گیگ
- سرعت نهایی: بالای ۲۰۰ توکن در ثانیه رو یه اندپوینت سازگار با OpenAI
