PAIR انویدیا: مسیریاب محلی برای اجرای مدلها روی چند کامپیوتر
هوش مصنوعیخلاصهٔ کاملتر
انویدیا پروژهی Personal AI Router یا همون PAIR رو با لایسنس Apache 2.0 روی گیتهاب گذاشته. کارش اینه که کامپیوترهای سازگار توی یه شبکهی محلی رو پیدا کنه، موتورهای inference (یعنی همون برنامهای که مدل رو اجرا میکنه) رو مدیریت کنه و دو تا اندپوینت پراکسی، یکی سازگار با Ollama و یکی سازگار با OpenAI، جلوی اپلیکیشنها بذاره. اگه همهی اجزا محلی باشن، پرامپت و جواب از شبکهی خودتون بیرون نمیره.
یه تذکر مهم تو مستندات هست که نباید ازش رد شد. PAIR هر درخواست مستقل رو فقط به یه نود میفرسته. حافظهی GPUها رو با هم یکی نمیکنه، چند تا GPU رو تبدیل به یه GPU بزرگتر نمیکنه، یه مدل رو بین چند ماشین تیکهتیکه نمیکنه و یه درخواست در حال اجرا رو هم بین نودها نمیشکنه. یعنی به درد بار موازی مثل اپلیکیشنهای چندایجنتی میخوره، نه اجرای مدلی که تو یه ماشین جا نمیشه.
ویندوز ۱۱، لینوکس و مکاواس هر سه پشتیبانی میشن، روی x64 و arm64، و نودهای سیستمعاملهای مختلف میتونن با هم جفت بشن (ویندوز روی ARM هنوز آزمایشیه). نصبکنندهها هم .exe و .deb و .dmg هستن. موتورهای پشتیبانیشده Ollama و LM Studio هستن و PAIR خودش میتونه براتون نصبشون کنه. برای جفت کردن ماشین دوم، یه نود PIN ششرقمی نشون میده که روی ماشین دعوتشده واردش میکنین.
بخش نقشهی راه هم صادقانهست. فعلاً فقط یه سیاست زمانبندی وجود داره که کار توی صف رو با یه سیگنال تقریبی از مصرف GPU ترکیب میکنه. مدل GPU، حافظهی آزاد، گرم بودن مدل و سنگینی درخواست رو حساب نمیکنه، برای همین با ماشینهای شبیه هم بهتر جواب میده تا یه کلاستر ناهمگون. تیم میگه هوشمندتر کردن مسیریابی و شاید انتخابی کردن سیاست تو برنامهست، و مستندات توصیه میکنن قبل از اجرا روی شبکهی نامطمئن، فایل SECURITY رو بخونین.
نکات کلیدی:
- PAIR با لایسنس Apache 2.0 منتشر شده و روی ویندوز ۱۱، لینوکس و مکاواس (x64 و arm64) اجرا میشه.
- موتورهای پشتیبانیشده فعلاً فقط Ollama و LM Studio هستن.
- هر درخواست به یه نود میره؛ حافظهی GPU مشترک نمیشه و مدل بین ماشینها شارد نمیشه.
- اندپوینتهای پراکسی سازگار با Ollama و OpenAI هستن، پس اپلیکیشنهای موجود بدون تغییر وصل میشن.
- جفت کردن نودها با یه PIN ششرقمی انجام میشه و حذف PAIR وزن مدلها رو پاک نمیکنه.
