‏خانواده Ettin Reranker: شش مدل رتبه‌بندی سریع و دقیق

Reranker چیه و چرا به دردمون می‌خوره؟ یه مدل جستجوی معمولی (embedder) کوئری و سند رو جداگانه به بردار تبدیل می‌کنه و شباهت‌شون رو حساب می‌کنه — سریعه ولی نه خیلی دقیق. یه reranker (یا cross-encoder) به جاش، کوئری و سند رو با هم می‌بینه و امتیاز ربط می‌ده. این روش دقیق‌تره ولی گرون‌تره؛ چون باید برای هر جفت (کوئری، سند) جداگانه اجرا بشه. به همین خاطر معمول‌ترین الگو اینه: اول یه embedder سریع ۱۰۰ نتیجه برتر رو برمی‌گردونه، بعد reranker این ۱۰۰ تا رو دقیق رتبه‌بندی می‌کنه.

تام آرسن از Hugging Face شش مدل reranker جدید با نام Ettin Reranker منتشر کرده که روی encoder‌های ModernBERT دانشگاه جانز هاپکینز ساخته شدن. این مدل‌ها از ۱۷M تا ۱B پارامتر در دسترسن و همه‌شون تا ۸۱۹۲ توکن context می‌پذیرن. آموزش‌شون با روش distillation بوده — یعنی مدل بزرگ‌تر mxbai-rerank-large-v2 به عنوان teacher، امتیازهای خودش رو با MSE به مدل‌های کوچیک‌تر منتقل کرده.