‏از Bag-of-Words تا Jev: تاریخچهٔ طبقه‌بندی متن

نویسنده می‌گه نظرش دربارهٔ Jev تو همین چند روز عوض شده: اولش فکر می‌کرده «این فقط یه کلاسیفایره، خودم بلدم بسازم» و بعد رسیده به «از اون چیزی که فکر می‌کردم بهتر کار می‌کنه». حرف اصلی مقاله اینه که Jev رو باید تو امتداد یه تاریخ طولانی دید، نه یه جهش از هیچ‌جا. به گفتهٔ نویسنده مزیتش نه بهترین دقته و نه عمومی بودن محض، بلکه اینه که سرعت و ارزونی رو یکجا با عمومی بودن داره.

مرور تاریخی با bag-of-words شروع می‌شه (یعنی هر متن رو به یه بردار ثابت از شمارش کلمه‌ها تبدیل می‌کنی) که ترتیب کلمه‌ها رو از دست می‌ده، تا جایی که «سگ مرد رو گاز گرفت» و برعکسش بردار یکسان می‌دن. بعد نوبت word embedding و RNN و CNN می‌رسه. عددهای خود نویسنده روی IMDb: لاجستیک رگرسیون با bag-of-words حدود ۸۹.۹٪، یه LSTM که از صفر آموزش دیده ۸۵.۶۶٪، یه CNN حدود ۹۰.۰۷٪، ULMFiT سال ۲۰۱۸ با ۹۵.۴٪، ModernBERT حدود ۹۵٪ و GPT-2 124M حدود ۹۲٪.

خود Jev سه تا API داره. Choice برای طبقه‌بندی چندکلاسه‌ست و یه برچسب، یه confidence و احتمال هر کلاس برمی‌گردونه. Noul ساده‌تره و به یه سؤال بله/خیر احتمال می‌ده، پس برای حالتی که یه متن می‌تونه چند برچسب بگیره مناسب‌تره، چون احتمال‌ها لازم نیست جمعشون ۱ بشه. Score هم بر اساس یه rubric (مثلاً ۰ و ۱ و ۲) امتیاز می‌ده. جواب Choice روی یه نقد مثبت اینجوری درمیاد:

{
  "answers": {
    "sentiment": {
      "type": "choice",
      "choice": "positive",
      "confidence": 1.0
    }
  }
}

اون فیلد confidence می‌گه توزیع احتمال چقدر متمرکزه و با احتمال کلاس برنده یکی نیست. روی ۲۵ هزار نقد تست IMDb، Choice به دقت ۹۶.۴۷٪ یعنی ۲۴٬۱۱۷ مورد درست رسید، تو ۲۲ دقیقه و ۲۴ ثانیه با ۱۵٬۴۵۶٬۶۶۳ توکن ورودی و ۰.۶۴۹۲ دلار. Noul هم ۹۶.۲۰٪ تو ۲۳ دقیقه و ۳ ثانیه با ۰.۶۳۴۵ دلار. نویسنده تأکید می‌کنه اجراها قطعی نیستن و بار دوم عدد کمی فرق کرد، و این caveat رو هم می‌ذاره که معلوم نیست مجموعهٔ تست IMDb تو دادهٔ آموزش بوده یا نه.

جمع‌بندی نویسنده اینه که برای یه مسئلهٔ باریک و خوب‌تعریف‌شده، یه کلاسیفایر مخصوص همون کار بازم بهتر و ارزون‌تره، و از اون طرف LLMهای بزرگ همین کارها رو می‌کنن و خیلی بیشتر. ارزش Jev اینه که وسط این دو تا می‌شینه: لازم نیست برای هر تسک داده جمع کنی و یه ModernBERT فاین‌تیون کنی. دربارهٔ معماری و الگوریتم آموزشش هم چیز زیادی معلوم نیست، جز حرف یکی از بنیان‌گذارها که گفته با «Reinforcement Learning for Calibrated Decisions» آموزش دیده.

نکات کلیدی:

• Jev مدل بستهٔ TypeSafe AIه و ادعا می‌کنه هم‌تراز GPT-5.6 Luna ولی مرتبه‌ها سریع‌تر و ارزون‌تره.
• سه API داره: Choice (چندکلاسه با confidence)، Noul (احتمال بله به یه سؤال)، Score (امتیاز روی یه rubric).
• تست IMDb با Choice: ۹۶.۴۷٪ دقت، ۲۲ دقیقه و ۲۴ ثانیه، ۰.۶۴۹۲ دلار؛ با Noul: ۹۶.۲۰٪ و ۰.۶۳۴۵ دلار.
• همون دیتاست: bag-of-words ۸۹.۹٪، LSTM ۸۵.۶۶٪، CNN ۹۰.۰۷٪، ULMFiT ۹۵.۴٪، ModernBERT حدود ۹۵٪.
• معماری Jev عمومی نشده؛ فقط گفته شده با «Reinforcement Learning for Calibrated Decisions» آموزش دیده.