‏مدل کوچیک فاین‌تیون‌شده Airbnb هم‌پای مدل‌های بزرگ

تیم Airbnb تو این مقاله یه بنچمارک واقعی منتشر کرده. اونا مدل Gemma4-E2B (یعنی مدلی با حدود 2 میلیارد پارامتر مؤثر) رو با فریم‌ورک داخلی‌شون به اسم GLOWC فاین‌تیون کردن. فاین‌تیون یعنی آموزش دوبارهٔ یه مدل آماده روی داده‌های مخصوص یه کار. کارش هم بررسی محتوای کاربرها از نظر سیاست شفافیت قیمت و پرداخت Airbnb هست. این مدل هزاران بار در دقیقه صدا زده می‌شه و باید زیر 200 میلی‌ثانیه جواب بده.

نتیجه جالبه: F1 مدل (یعنی معیاری که دقت و پوشش رو با هم می‌سنجه) از 0.563 به 0.902 رسیده و میانهٔ زمان پاسخش 35 میلی‌ثانیه مونده. این عدد هم‌سطح بهترین مدل‌های پولیه. در مقابل، GPT-6.1 Sol و Claude Sonnet 5.5 حتی تو حالت فکر کم، میانهٔ تأخیرشون حدود 900 میلی‌ثانیه‌ست و p99 شون به چند ثانیه می‌رسه. مدل‌های اوپن‌ویت بدون فاین‌تیون سریع بودن ولی کیفیتشون خیلی پایین‌تر موند.

یه نکتهٔ مهم دیگه اینه که مدل‌های پولی فقط جواب درست یا غلط می‌دن، نه یه عدد احتمال. پس نمی‌شه آستانه رو جابه‌جا کرد تا بین خطای مثبت کاذب و منفی کاذب تعادل برقرار شه. مثلاً GPT-6.1 Sol به precision برابر 0.82 و recall برابر 0.96 رسیده و برای عوض کردنش باید پرامپت رو از نو نوشت. ولی مدل فاین‌تیون‌شده امتیاز می‌ده و هر آستانه‌ای بخوای می‌تونی انتخاب کنی.

تیم Airbnb یه پرامپت مفصل 2700 کلمه‌ای هم امتحان کرده. مدل‌های پولی یک تا سه امتیاز بهتر شدن، ولی برای مدل‌های سریع فاصله پر نشد و هزینه و تأخیر هم بالا رفت. به گفتهٔ نویسنده‌ها، صدها هزار نمونهٔ برچسب‌خورده کاری رو کردن که یه پرامپت 2700 کلمه‌ای نتونست بکنه.

در مورد هزینه، یه GPU از نوع NVIDIA RTX Pro 6000 چه بیکار باشه چه پرکار، هزینه‌ش ثابته. ولی مدل‌های API بر اساس توکن پول می‌گیرن. تو حجم هزاران درخواست در دقیقه، مدل‌های بزرگ حدود صد برابر یه GPU خرج دارن. فقط زیر حدود 15 تا 30 درخواست در دقیقه، API ارزون‌تر درمیاد. نویسنده‌ها می‌گن برای کارهای کم‌حجم یا کارهایی که هر هفته عوض می‌شن، همون مدل بزرگ با یه پرامپت خوب انتخاب درستیه.

نکات کلیدی:

• F1 مدل Gemma4-E2B بعد از فاین‌تیون از 0.563 به 0.902 رسید و میانهٔ تأخیرش 35 میلی‌ثانیه‌ست.
• p99 تأخیر مدل فاین‌تیون‌شده حدود 85 میلی‌ثانیه‌ست، در حالی که مدل‌های بزرگ میانه‌شون حدود 900 میلی‌ثانیه‌ست.
• بالای حدود 30 درخواست در دقیقه، یه GPU خودمیزبان از API مدل‌های بزرگ ارزون‌تره.
• پرامپت مفصل 2700 کلمه‌ای کیفیت مدل‌های سریع رو به سطح مدل فاین‌تیون‌شده نرسوند.
• خروجی امتیازی به‌جای جواب بله یا نه، اجازه می‌ده تعادل precision و recall رو بدون تغییر پرامپت تنظیم کنی.
• ارزیابی روی 10 هزار نمونهٔ وزن‌دار و با vLLM 0.28.0 روی یه GPU انجام شده.