همه کارها به LLM نیاز ندارن: تجربه PostHog با decision modelها
خلاصهٔ کاملتر
Jina Yoon از PostHog تو این مقاله میگه LLMها برای یه سؤال ساده هم چند صد کلمه «بستگی داره» تحویل میدن. برای همین تیمش برای کارهای سادهتر سراغ decision modelهایی مثل Jev رفته. decision model یعنی مدلی که یه سؤال ساختاریافته میگیره و یه جواب تایپدار با احتمال برمیگردونه، مثلاً «بله، 0.99». این مدلها calibrated هستن، یعنی جوابهایی که امتیاز 0.8 دارن حدوداً 80% مواقع درستن.
اولین کاربرد، گذاشتن یه دروازه قبل از درخواستهای گرون به LLM هست. به گفته TypeSafe این مدلها تا 444.6 برابر ارزونتر و 193.6 برابر سریعتر از مدلهای frontier هستن. تو Replay Vision که جلسات کاربر رو خلاصه میکنه، هر خلاصه از دو سؤال بله/خیر رد میشه: اسم یه آدم واقعی توشه؟ اطلاعات تماس یا شناسه داره؟ اگه هر کدوم 0.4 یا بیشتر بشه، Gemini خلاصه رو بدون اطلاعات شخصی بازنویسی میکنه. تو production حدود 98.7% خلاصهها کلاً به LLM نمیرسن.
نویسنده تأکید میکنه این مدلها اشتباه هم میکنن؛ امتیاز 0.85 یعنی حدود 150 اشتباه تو هر 1000 بررسی. پس آستانه رو باید بر اساس اینکه کدوم اشتباه گرونتره تنظیم کرد. برای اطلاعات شخصی آستانه پایین 0.4 انتخاب شده، چون رد شدن داده شخصی از یه درخواست اضافه به LLM بدتره. ولی بات Slack که بدون تگ شدن به سؤالها جواب میده، فقط وقتی وارد میشه که پیام هر دو سؤال رو با 0.85 به بالا رد کنه تا مزاحم نشه.
کاربرد دوم، model router هست. بات PostHog تو Slack با یه سؤال choice ارزونترین مدلی رو انتخاب میکنه که احتمالاً کار رو دفعه اول درست انجام میده. ولی نویسنده میگه آستانهها قابل انتقال نیستن: تو Error Tracking دیدن که حتی بین نسخه 1 و 2 یه مدل آستانهها عوض شد. برای همین آستانهها برای هر پروژه قابل تنظیم شدن و تیم یه gateway داخلی برای عوض کردن و تست مدلها ساخت.
کاربرد سوم، بررسیهای ساده و یکمرحلهایه. تو جستجوی Replay Vision اول با embedding یه لیست اولیه ساخته میشه و بعد decision model فقط میپرسه هر نتیجه با جستجو جوره یا نه. این rerank کیفیت رتبهبندی رو روی 20 کوئری تست حدود 25% بهتر کرد. کاربرد چهارم هم جاهاییه که LLM زیادی گرون یا کنده، مثل انتخاب نوع نمودار برای کوئریهای SQL به جای قوانین ثابت قبلی.
اما محدودیتها هم جدیان. استدلال دومرحلهای با درخواستهای 12 تا 38 هزار توکنی، سرور مدل رو چند ساعت قفل کرد. رتبهبندی یافتههای code review هم با AUC برابر 0.52 عملاً شانسی بود. نویسنده معتقده برای این کارها هنوز LLM یا مدلهای ترکیبی مثل Jeeves بهترن، که وقتی مطمئن نیستن قبل از تصمیم فکر میکنن.
نکات کلیدی:
- decision modelها طبق ادعای TypeSafe تا 444.6 برابر ارزونتر و 193.6 برابر سریعتر از مدلهای frontier هستن.
- تو فیلتر اطلاعات شخصی Replay Vision، 98.7% خلاصهها بدون درخواست به Gemini رد میشن.
- آستانه 0.4 برای اطلاعات شخصی و 0.85 برای بات Slack انتخاب شده.
- rerank نتایج جستجو با decision model کیفیت رتبهبندی رو حدود 25% بهتر کرد.
- رتبهبندی یافتههای code review با Jev به AUC برابر 0.52 رسید و جواب نداد.




