‏Jev؛ مدلی که متن تولید نمی‌کنه ولی سریع تصمیم می‌گیره

هفته‌ی پیش مدلی به اسم Jev از شرکت TypeSafe منتشر شد و حسابی سر و صدا کرد. برخلاف چیزی که اول به ذهن می‌رسه، این یه LLM نیست؛ نه متن تولید می‌کنه نه عکس. به گفته‌ی نویسنده، Jev خیلی بیشتر از GPT و Claude به خانواده‌ی BERT شباهت داره، یعنی مدل‌هایی که کارشون طبقه‌بندیه نه تولید. همون تفاوتیه که آدم‌ها وقتی بین «AI» و «GenAI» خط می‌کشن منظورشونه.

نویسنده حدس می‌زنه ایده‌ی اصلی این بوده: بیایم BERT رو با همون ترفندهایی که LLMها این چند سال گرفتن به‌روز کنیم. یعنی به‌جای این‌که برای هر کار مدل رو از نو فاین‌تیون کنی، دستورالعمل رو مستقیم تو ورودی بدی، مدل رو خیلی بزرگ کنی و از یادگیری تقویتی هم استفاده کنی.

چون خروجی فقط چندتا احتماله و هیچ توکن متنی تولید نمی‌شه، هم سریع‌تره هم ارزون‌تر. اندازه‌ی مدل اعلام نشده، ولی نویسنده می‌گه حتی اگه ۱۰۰ برابر ModernBERT باشه، باز هم کنار LLMهای ۲ تا ۵ تریلیون پارامتری چیزی به حساب نمیاد. اسم «System One» هم یه ترفند بازاریابی قشنگه و در واقع یعنی «این مدل، مدل استدلالی نیست». ادعای «توهم نمی‌زنه» هم یعنی خروجی از ساختار تعیین‌شده بیرون نمی‌زنه، نه این‌که جوابش همیشه درسته.

تو API، ورودی رو به‌عنوان state می‌دی و چندتا سوال مستقل ازش می‌پرسی. نکته‌ی مهم اینه که دستورالعمل طبقه‌بندی داخل خود سوال می‌شینه، نه داخل متن ورودی. سوال‌ها هم موازی جواب داده می‌شن، پس می‌تونی همه‌ی سوال‌های یه داده رو یه‌جا بفرستی:

response = client.system_one(
    state=ticket,
    questions={
        "department": Choice(instructions="Which team should handle this",
                             criteria={"billing": "...", "technical": "..."}),
        "is_urgent": Noul(instructions="The message conveys urgency"),
    },
)
print(response.answers["department"].choice)

همین جدا بودن state و دستورالعمل باعث شده نویسنده حدس بزنه Jev جلوی prompt injection (یعنی وقتی خود متن ورودی به مدل دستور می‌ده) مقاوم‌تره؛ چند بار سعی کرده تیکت رو به دپارتمان اشتباه بفرسته و موفق نشده. تو تست جدی‌تر هم روی ۳۰۰۰ متن کرواتی، Jev فقط با یه دستور یک‌جمله‌ای انگلیسی ۹۷.۱ درصد درست جواب داد، در برابر ۹۷.۶ درصد مدل BERTی که خود نویسنده فاین‌تیون کرده بود. کل اجرا حدود یه دقیقه طول کشید و ۲۰ سنت خرج برداشت.

نکات کلیدی:

• Jev مدل طبقه‌بندیه نه تولید متن؛ خروجیش بله/خیر، یه امتیاز، یا انتخاب از چند گزینه‌ست.
• ادعای سازنده: ۱۹۳ برابر سریع‌تر و ۴۴۴ برابر ارزون‌تر از LLM.
• «توهم نزدن» یعنی خروجی از ساختار تعیین‌شده خارج نمی‌شه، نه این‌که جواب همیشه درسته.
• تو تست ۳۰۰۰ متن کرواتی: ۹۷.۱ درصد در برابر ۹۷.۶ درصد BERT فاین‌تیون‌شده، با هزینه‌ی حدود ۲۰ سنت.
• وزن‌های مدل منتشر نشده و تنها راه استفاده، API شرکت TypeSafe ـه.