‏QVAC: اجرای محلی و همتا‌به‌همتای هوش مصنوعی

تتر اکوسیستم آزاد QVAC رو منتشر کرده؛ یه مجموعهٔ cross-platform برای ساختن اپ‌ها و سیستم‌های هوش مصنوعی محلی-اول و همتا‌به‌همتا (P2P). ایدهٔ اصلی اینه که کارهای هوش مصنوعی مثل LLMها، گفتار و RAG رو مستقیم روی دستگاه خودت روی لینوکس، مک، ویندوز، اندروید و iOS اجرا کنی، یا با قابلیت‌های P2P توکار، استنتاج رو به همتاهای دیگه واگذار کنی.

طبق توضیحات ریپو، چند ویژگی کلیدی داره: محلی‌بودن کامل (بدون API شخص‌ثالث، SaaS یا ابر)، شبکهٔ P2P شبیه BitTorrent و IPFS ولی برای هوش مصنوعی، تجربهٔ توسعهٔ یکدست روی سخت‌افزارها و سیستم‌عامل‌های مختلف، و یه API سازگار با OpenAI که اجازه می‌ده با بقیهٔ اکوسیستم هوش مصنوعی یکپارچه بشه. کل پروژه هم آزاد و رایگانه.

نقطهٔ ورود اصلی یه SDK جاوااسکریپتیه که type-safe ـه و همهٔ قابلیت‌ها رو از یه رابط واحد بیرون می‌ده. این SDK روی Node.js، رانتایم Bare و Expo اجرا می‌شه. کنارش یه CLI و یه سرور HTTP هم هست که همون API سازگار با OpenAI رو سرو می‌کنه. برای شروع کافیه بستهٔ @qvac/sdk رو نصب کنی و بعد یه مدل رو لود کنی و استنتاج رو محلی اجرا کنی. نمونهٔ کوتاه‌شده‌اش این شکلیه:

const modelId = await loadModel({
    modelSrc: LLAMA_3_2_1B_INST_Q4_0,
    modelType: "llm",
});
const result = completion({ modelId, history, stream: true });
for await (const token of result.tokenStream) {
    process.stdout.write(token);
}

از نظر قابلیت‌های هوش مصنوعی، QVAC طیف خوبی رو پوشش می‌ده: completion و تولید متن، embedding متنی برای جست‌وجوی معنایی، ترجمهٔ ماشینی عصبی، transcription گفتار به متن (با Whisper یا Parakeet انویدیا)، text-to-speech، OCR، تولید تصویر، fine-tuning با LoRA، ورودی multimodal و یه گردش‌کار RAG آماده. بیشتر این‌ها روی addonهای C++ بومی مثل qvac-fabric-llm.cpp سواره.

بخش P2P هم سه قابلیت مهم داره: استنتاج واگذارشده به همتاها از طریق پشتهٔ Holepunch برای اشتراک منابع، گرفتن مدل‌ها از همتاها از طریق یه رجیستری توزیع‌شده، و blind relayها که همتاها رو از پشت NAT و فایروال به هم وصل می‌کنن. کنارش امکاناتی مثل سیستم پلاگین برای ساختن اپ‌های سبک، لاگینگ، و دانلود مدل به‌صورت قابل‌توقف و resume و sharded هم هست.

پروژه به شکل یه monorepo سازماندهی شده و همهٔ اجزاش زیر /packages قرار دارن؛ از SDK اصلی گرفته تا addonهای استنتاج و ابزارها. مستندات کامل، ماتریس سازگاری و دستورالعمل نصب per-platform هم روی سایت داکیومنت QVAC هست.

نکات کلیدی:

• یه اکوسیستم آزاد از تتر برای هوش مصنوعی محلی-اول و همتا‌به‌همتا
• اجرای LLM، گفتار، RAG و بیشتر روی لینوکس، مک، ویندوز، اندروید و iOS بدون ابر
• نقطهٔ ورود اصلی یه SDK جاوااسکریپتی روی Node.js، Bare و Expo
• API سازگار با OpenAI برای یکپارچگی با بقیهٔ اکوسیستم
• واگذاری استنتاج و گرفتن مدل از همتاها از طریق پشتهٔ Holepunch