TensorFold: سرو مدلهای زبانی بدون پایتون
خلاصهٔ کاملتر
TensorFold یه موتور سرو مدلهای زبانیه که کل کارش توی یه باینری نوشتهشده با Zig انجام میشه. checkpoint (یعنی فایلهای وزن مدل) رو میخونه، درخواستها رو توکنایز میکنه و کرنلهای Metal روی Apple Silicon یا CUDA روی NVIDIA رو مستقیم اجرا میکنه. یعنی برای سرو کردن دیگه لازم نیست پایتون یا MLX نصب کنی. روی مک با Homebrew نصب میشه و برای لینوکس آرشیو آماده برای x86_64 و aarch64 داره.
نسخهٔ لینوکس به glibc 2.28 به بالا و درایور NVIDIA R580 یا جدیدتر (CUDA 13.0) نیاز داره و با درایور قدیمیتر اصلاً بالا نمیاد. سرور یه API سازگار با OpenAI میده که chat completions، completions و Responses رو پوشش میده و Anthropic Messages رو هم پشتیبانی میکنه. فلگ --parallel N تعداد درخواستهای همزمان رو محدود میکنه و حالت پیشفرض auto بسته به حافظه تا 8 stream قبول میکنه. یه رابط وب لوکال (tensorfold web) و یه اپ دسکتاپ مک هم داره.
یه قابلیت آزمایشی به اسم Living Weights هم هست که به مدلِ در حال اجرا فکت جدید یاد میده و اونو مستقیم توی وزنهای خود مدل مینویسه، نه توی یه حافظهٔ جانبی. با فلگ --slide روی مدل Nemotron 3.5 Lightning فعال میشه و فقط با یه کلید API بالا میاد. طبق README، فکتهای مرتبط ممکنه با هم تداخل کنن، بعد از چند ده فکت دقت یادآوری افت میکنه و سرعت decode روی مک کمی پایین میاد. قبل از اولین درس یه snapshot از فایلها نگه داشته میشه و با tensorfold slide rollback میشه همهچیز رو برگردوند.
README یه جدول بلند از مدلهای تستشده داره: از Qwen3.5-2B که برای شروع پیشنهاد شده تا GLM-5.3-Flash که روی دو یا سه GB10 با tensor parallel (یعنی تقسیم مدل بین چند GPU) سرو میشه. برای هر مدل نوشته روی چه سختافزاری واقعاً چک شده و جاهایی که چک نشده رو هم صریح گفته. مثلاً checkpointهای DeepSeek هنوز سرو نمیشن و A100 با اینکه کرنلهاش تست شده، هیچ مدلی روش qualify نشده.
یه اصل مهم پروژه exact decoding هست: هر توکنی که drafter (یعنی مدل کوچیکی که چند توکن جلوتر رو حدس میزنه تا سرعت بره بالا) پیشنهاد میده و قبول میشه، باید دقیقاً همون توکنی باشه که موتور بدون draft تولید میکرد. یعنی سریعتر شدن به خروجی دست نمیزنه، البته کوانتیزیشن یا backend متفاوت میتونه خروجی متفاوتی بده. یه محصول سازمانی جدا به اسم TensorFold Starlight هم هست که چند موتور رو پشت یه endpoint با ورود OIDC یا SAML و بودجهبندی توکن مدیریت میکنه.
نکات کلیدی:
- بدون پایتون و MLX؛ یه باینری Zig با کرنلهای Metal و CUDA
- روی لینوکس glibc 2.28 به بالا و درایور NVIDIA R580 یا جدیدتر (CUDA 13.0) لازمه
- API سازگار با OpenAI (chat، completions، Responses) و Anthropic Messages
- --parallel auto تا 8 درخواست همزمان رو قبول میکنه
- Living Weights آزمایشیه و بعد از چند ده فکت دقت یادآوریش افت میکنه
- checkpointهای DeepSeek هنوز توی هیچ نسخهای سرو نمیشن




