‏Mesh LLM: چندتا GPU، یه API سازگار با OpenAI

Mesh LLM ابزاریه که حافظه گرافیک (VRAM) چندتا سیستم رو یه‌جا جمع می‌کنه و همه رو پشت یه API سازگار با OpenAI قرار می‌ده. یه node روشن می‌کنی و اگه خواستی سیستم‌های دیگه رو هم به mesh اضافه می‌کنی. بعد خودش تصمیم می‌گیره یه مدل لوکال اجرا بشه، بره سراغ سیستمی که جای خالی داره، یا اگه تو یه GPU جا نمی‌شه بین چندتا سیستم تقسیم بشه. برای اپ تو همه‌ش یه endpoint هست.

نصب اصلیش یه اسکریپت یک‌خطی روی لینوکسه، روی ویندوز از طریق WSL2 کار می‌کنه و مک هم پشتیبانی می‌شه. ولی به گفته نویسنده نصب مستقیم هنوز صیقل نخورده و بعدش ممکنه خطای کتابخونه و وابستگی ببینی. راه مطمئن‌تر Docker هست، چون پیش‌نیازها از قبل تو image آماده‌ست. پوشه‌های config و مدل‌ها رو روی سیستم میزبان می‌سازی و mount می‌کنی تا با ری‌استارت پاک نشن، بعد node رو با دسترسی GPU و یه مدل اولیه (تو تست Gemma) بالا میاری.

یه تصمیم طراحی مهم اینه که ثبت مدل تو کاتالوگ فوراً VRAM مصرف نمی‌کنه. مدل فقط وقتی روی GPU لود می‌شه که یه درخواست واقعاً لازمش داشته باشه. یعنی می‌تونی چندتا مدل آماده داشته باشی بدون اینکه مدام به خطای کمبود حافظه بخوری. اگه چند سیستم داشته باشی، node بقیه رو خودکار پیدا می‌کنه و حافظه‌شون رو به استخر اضافه می‌کنه.

یه داشبورد وب هم به صورت پیش‌فرض روی پورت 3131 هست که تعداد nodeها، کل VRAM جمع‌شده و مدل‌های فعال رو نشون می‌ده. از همونجا می‌شه چت کرد، مدل عوض کرد و تعداد slotها و اندازه context window هر مدل رو تنظیم کرد. نویسنده می‌گه ویرایش فایل config از ترمینال و اعتبارسنجیش قبل از ری‌استارت روش مطمئن‌تریه. node تازه به صورت پیش‌فرض روی شبکه محلی به شکل mesh عمومی در دسترسه، ولی می‌شه خصوصیش کرد.

جالب‌ترین قابلیت، مدل مجازی به اسم mesh هست. اگه تو درخواست به جای اسم یه مدل، mesh بذاری، پرامپت همزمان به همه مدل‌های لود شده می‌ره، جواب‌ها مقایسه می‌شن و یه جواب ترکیبی برمی‌گرده. این یه جور ensembling ساده‌ست، یعنی ترکیب نظر چند مدل برای جواب مطمئن‌تر. حداقل دو مدل لازم داره و تو تست Gemma و Qwen با هم استفاده شدن. نویسنده جمع‌بندی می‌کنه که این ابزار یه جای خالی واقعی رو پر می‌کنه، ولی فعلاً باید مثل یه نرم‌افزار اولیه باهاش برخورد کرد.

نکات کلیدی:

• Mesh LLM حافظه GPU چند سیستم رو پشت یه API سازگار با OpenAI جمع می‌کنه.
• نصب مستقیم روی لینوکس، WSL2 و مک ممکنه خطای وابستگی بده و Docker گزینه پایدارتره.
• مدل‌ها فقط موقع درخواست واقعی روی GPU لود می‌شن، نه موقع ثبت تو کاتالوگ.
• داشبورد وب پیش‌فرض روی پورت 3131 هست و تنظیم slot و context window رو هم داره.
• مدل مجازی mesh پرامپت رو به همه مدل‌های لود شده می‌فرسته و حداقل دو مدل لازم داره.
• node تازه پیش‌فرض روی شبکه محلی عمومیه و برای محدود کردنش باید mesh خصوصی تنظیم کرد.