‏pplx-decider-v1-27b: مدل تصمیم‌گیری Perplexity روی Hugging Face

pplx-decider-v1-27b یه مدل تصمیم‌گیری از Perplexity هست که از Qwen3.8-27B fine-tune شده. مدل تصمیم‌گیری یعنی به‌جای نوشتن جواب آزاد، از بین گزینه‌هایی که بهش می‌دی یکی رو انتخاب می‌کنه و برای هر گزینه احتمال کالیبره‌شده برمی‌گردونه. این صفحه، کارت مدلش روی Hugging Face هست و بیشتر روی نتایج و نحوهٔ استفاده تمرکز داره.

طبق جدول کارت مدل، روی 11 بنچمارک میانگین 85.71٪ گرفته، در حالی که Jev روی 84.51٪ و Qwen3.8-27B خام روی 74.76٪ بوده. تو RAGTruth (یعنی تشخیص جواب‌های بی‌پایه تو سیستم‌های RAG) با 88.80٪ خیلی از Jev با 77.27٪ جلوتره. تو FinancialPhraseBank، TabFact و Circa هم بهترین نتیجه رو داره. ولی تو WinoGrande، BBH و TruthfulQA هنوز Jev بهتره. نتایج این مدل از طریق API خود Perplexity اندازه‌گیری شدن.

برای اجرا Python 3.12 به بالا و یه GPU با CUDA لازمه که حدود 49 GiB جا برای وزن‌ها به‌اضافهٔ حافظهٔ کاری داشته باشه. با uv اسکریپت inference.py رو دانلود و اجرا می‌کنی و خودش مدل رو می‌گیره. استفادهٔ مستقیم از کلاس Decider اینطوریه:

model = Decider.from_pretrained("perplexity-ai/pplx-decider-v1-27b")
result = model.predict(
    "My Stripe integration keeps failing. Please help ASAP.",
    {"type": "choice", "instructions": "Which team should handle this request?", ...},
)

تو این مثال، یه پیام پشتیبانی به مدل داده می‌شه و مدل باید تیم مناسب رو بین billing، technical_support و sales انتخاب کنه. برای سؤال بله/خیر، نوع noul رو می‌دی؛ مثلاً «این پیام فوریت داره؟». ورودی تصویر هم پشتیبانی می‌شه، یعنی می‌شه یه اسکرین‌شات رو با images به predict داد.

نکات کلیدی:

• بر پایهٔ Qwen3.8-27B، حدود 26B پارامتر با وزن‌های BF16
• میانگین 85.71٪ روی 11 بنچمارک، در برابر 84.51٪ برای Jev و 74.76٪ برای Qwen3.8-27B
• بهترین نتیجه تو RAGTruth با 88.80٪
• نیاز به Python 3.12+ و GPU با حدود 49 GiB حافظه برای وزن‌ها
• دو نوع سؤال: choice برای چندگزینه‌ای و noul برای بله/خیر، به‌اضافهٔ ورودی تصویر