llama.cpp به نسخهی 1.0.0 رسید
خلاصهٔ کاملتر
llama.cpp یه پیادهسازی C/C++ برای اجرای مدلهای زبانی (حتی چندوجهی) روی هر سختافزاریه، از لپتاپ معمولی تا سرور سازمانی. این کار با quantization (یعنی کم کردن دقت عددی وزنهای مدل تا حجم و مصرف حافظه پایین بیاد) و backendهای بهینه انجام میشه. تیمش تو Hugging Face حالا نسخهی v1.0.0 رو برای llama.cpp و موتور زیرینش ggml منتشر کرده.
به گفتهی تیم، تو این سه سال و نیم کلی برنامه به این کتابخونه وابسته شدن و هر integration تازه یعنی توسعهدهندههای بیشتری که به API اون تکیه کردن. برای همین از این به بعد هر ناسازگاری تو API یا ABI (یعنی سازگاری باینری بین کتابخونه و برنامهای که بهش لینک شده) فقط با بالا رفتن نسخهی major منتشر میشه.
قاعدهی semantic versioning برای همهی پروژههای ggml-org اینطوریه: تغییر شکستن تو C API عمومی پوشهی ./include نسخهی MAJOR رو بالا میبره. قابلیت جدید سازگار، آپدیت backend، پشتیبانی از مدل تازه یا اضافه شدن API نسخهی MINOR رو. رفع باگ بدون تغییر API هم فقط PATCH رو. یعنی دیگه لازم نیست با هر آپدیت نگران شکستن build باشی.
توزیع هم گستردهتر شده. علاوه بر artifactهای پیشانتشار برای Linux، macOS، Windows، Android و iOS، این کتابخونه از طریق Docker، Debian، Homebrew، conda-forge، MacPorts، Winget و XCFramework هم در دسترسه.
تیم میگه برای سرعت بیشتر توسعه، روی CI سرمایه گذاشته و با HF Buckets و HF Jobs هر تغییری که روی شاخهی master میشینه تست میشه. NVIDIA، AMD، Qualcomm، Arm، IBM و Intel هم runnerهای سختافزاری دادن. به گفتهی نویسندهها، از LLMها تو توسعه استفاده میکنن ولی کنترل معماری و فهم جزئیات کد همچنان اولویت اوله.
ggml طوری طراحی شده که روی تقریباً هر سختافزاری اجرا بشه. هر backend میتونه یه کتابخونهی داینامیک جدا باشه که موقع اجرا لود میشه. llama.cpp الان بیشتر از 150 گونه از معماری مدلها و همهی روشهای رایج speculative decoding (یعنی حدس زدن چند توکن جلوتر با یه مدل کوچیکتر برای سرعت بیشتر) رو پشتیبانی میکنه.
نکات کلیدی:
- llama.cpp و ggml هر دو به نسخهی v1.0.0 رسیدن
- تغییر شکستن تو C API پوشهی ./include فقط با بالا رفتن نسخهی MAJOR میاد
- پشتیبانی از مدل یا backend جدید فقط MINOR رو بالا میبره
- بیشتر از 150 گونه معماری مدل پشتیبانی میشه
- از Homebrew، Winget، Docker، Debian، conda-forge و MacPorts قابل نصبه




