‏تست Jev روی تشخیص هویت: ارزون‌تر و دقیق‌تر

نویسنده تو این پست Jev، مدل کلاسیفیکیشن TypeSafe، رو روی یه مسئلهٔ واقعی امنیت هویت تست کرده: identity resolution، یعنی تشخیص این که کدوم اکانت‌ها مال یه انسان واحدن. هر کارمند ده‌ها اکانت داره، از Okta و Slack و GitHub تا یه IAM user و یه اکانت Active Directory. وقتی federation نباشه، باید با غلط املایی و اسم مخفف و تغییر اکانت سر کنی. به گفتهٔ نویسنده قاعده‌ها ۸۰ درصد راه رو می‌برن و ۲۰ درصد آخر یه دنبالهٔ بلند از استثناست.

پایپ‌لاین سه مرحله داره: گروه‌بندی اکانت‌هایی که ایمیلشون دقیقاً یکیه بدون هیچ AI، ساختن شورت‌لیست ۲۰ کاندید شبیه با Jaro-Winkler، و بعد تصمیم مدل. Jev برای هر کاندید یه احتمال yes/no می‌ده و قراره calibrated باشه، یعنی ۰.۷ باید حدوداً ۷۰ درصد مواقع درست دربیاد. تو عمل مچ‌های واقعی حدود ۰.۷۵ می‌گرفتن و غریبه‌ها حدود ۰.۰۲، پس با گیت ۹۵ درصدی بیس‌لاین بیشتر لینک‌های واقعی رد می‌شدن؛ ولی روی آستانهٔ طبیعی ۰.۵ عالی بود.

روی چهار محیط بزرگ (۳۰ هزار تا بیش از ۱۰۰ هزار اکانت)، Jev هر سه محور رو برد: F1 ۰.۹۴۸ در برابر ۰.۸۹۴ هایکو ۴.۵ و ۰.۹۱۱ سانت ۵، هزینهٔ ۰.۶۲ دلار برای هر هزار اکانت در برابر ۱۱.۶۷ و ۲۸.۸۶ دلار، و تأخیر میانهٔ ۰.۳ ثانیه در برابر ۲.۴ و ۳.۵ ثانیه. مدل‌های Claude تقریباً همهٔ لینک‌های واقعی رو پیدا می‌کردن ولی زیادی لینک می‌زدن، مثلاً svc-reader3 رو به svc-reader. مدل Opus 5.5 همون خطاها رو درست کرد و هر تصمیمش رو هم توضیح داد، ولی حدود ۱۴۰ برابر گرون‌تره.

همین باعث شد نویسنده یه حالت ترکیبی پیشنهاد بده: Jev همه‌چی رو تصمیم بگیره و فقط اکانت‌هایی که کاندیدشون تو منطقهٔ «شاید» (بین ۰.۲ و ۰.۵) افتاده به یه مدل Claude ارجاع بشن. این فقط ۷ درصد اکانت‌های محیط‌های بزرگه. تو Org D که پر از دعوت‌نامه‌های تکراری B2B بود، F1 از ۰.۶۵ به ۰.۸۶ رفت، با ۱ تا ۴ دلار هزینهٔ بیشتر به ازای هر هزار اکانت. ولی روی محیط‌های تمیز یه کم دقت از دست می‌ره، پس نویسنده می‌گه این باید یه سوییچ به ازای هر محیط باشه، نه همیشه روشن.

دو روش سنتی هم امتحان شدن: record linkage کلاسیک Fellegi–Sunter و یه classifier روی درخت‌های گرادیان‌بوستد. روی دایرکتوری‌های بزرگ و منظم روش کلاسیک تا حدود ۴ واحد F1 نزدیک می‌شه (۰.۹۰۹ در برابر ۰.۹۴۷) و مجانی و لوکال اجرا می‌شه، ولی روی محیط کوچک و شلوغ می‌ریزه (۰.۷۰۲ در برابر ۰.۹۱۸). دلیلش اینه که این روش‌ها فیلد به فیلد شباهت رو نمره می‌دن، پس اسم یکسان برنده می‌شه؛ در حالی که msmith1 فقط به این خاطر وجود داره که یه M. Smith دوم اومده.

نویسنده خودش چند هشدار هم می‌ده. قاضیِ نتایج یه LLM بوده، پس اگه با مدلی نقطهٔ کور مشترک داشته باشه اون مدل بهتر از واقعیت به نظر می‌آد. محیط‌های بزرگ نمونه‌گیری شدن (۲۵۰۰ اکانت هر کدوم) و recall فقط روی همون شورت‌لیست ۲۰ نفره سنجیده شده. TypeSafe هم اندازه و معماری Jev رو منتشر نکرده، پس این یه تست بلک‌باکسه، و تست‌های مستقل دیگه Jev رو هم‌سطح مدل‌های میان‌قیمت گذاشتن، نه جلوتر از مدل‌های فرانتیر.

نکات کلیدی:

• F1 جِو روی محیط‌های بزرگ ۰.۹۴۸ بود، در برابر ۰.۸۹۴ هایکو ۴.۵ و ۰.۹۱۱ سانت ۵
• هزینهٔ Jev ۰.۶۲ دلار به ازای هر هزار اکانت و تأخیر میانه‌ش ۰.۳ ثانیه بود
• مدل Opus 5.5 همون خطاهای اشتباه‌ادغام رو درست کرد ولی حدود ۱۴۰ برابر Jev هزینه داره
• ارجاع پایرهای «شاید» به سانت ۵، F1 محیط شلوغ Org D رو از ۰.۶۵ به ۰.۸۶ رسوند
• پنج بار اجرای Jev روی همون دادهٔ ثابت، کاپای فلایس (میزان توافق اجراها) ۰.۹۸ تا ۰.۹۹ داد؛ یعنی یه اجرا کافیه