‏Insight Miner؛ روش علمی Airbnb برای تحلیل داده با AI

نویسندهٔ این مقاله از تیم Airbnb می‌گه اگه از یه coding agent بخوای ۱۰۰ هزار مکالمهٔ پشتیبانی رو تحلیل کنه، چند دقیقه بعد یه دسته‌بندی مرتب، درصدهای دقیق و یه خلاصهٔ آماده برای مدیرها تحویل می‌گیری. ولی نمی‌بینی چه روشی انتخاب شده، به چه شواهدی تکیه شده و اگه دوباره بپرسی همین جواب رو می‌گیری یا نه. به گفتهٔ نویسنده، هوش بدون متدولوژی علم نیست و روش کار به اندازهٔ خود جواب مهمه.

راه‌حل Airbnb یه agent harness برای data science بوده، یعنی لایه‌ای از قواعد، ابزارها و روش‌ها که دور مدل ساخته میشه و نحوهٔ کارش رو کنترل می‌کنه. این harness مشخص می‌کنه agent چطور سؤال رو تعریف کنه، شواهد رو انتخاب کنه و تصمیم‌هاش رو ثبت کنه. نتیجه اینه که خروجی‌ها قابل بازتولید، audit و نقد هستن و خود روش رو هم میشه با بقیه به اشتراک گذاشت.

ماجرا از ۲۰۲۵ شروع شد، وقتی Airbnb داشت دستیار AI پشتیبانی مشتری رو آماده می‌کرد. قبل از انتشار باید معلوم می‌شد این دستیار با چه موقعیت‌هایی روبه‌رو میشه، مخصوصاً اتفاق‌های نادری که برای AI پرریسک هستن. هر تحقیق ماه‌ها کار دستی لازم داشت و روشش بین notebookها، جدول‌ها، سندها و قضاوت افراد پخش بود. وقتی قرار شد همین کار تقریباً هر هفته برای زبان‌ها، کشورها و محصولات جدید تکرار بشه، این روند دیگه جواب نمی‌داد.

Insight Miner اول بخش مهندسی رو پوشش میده: کوئری‌ها، برچسب‌گذاری و embedding در مقیاس بزرگ، clustering و ردیابی. هستهٔ روش همون الگوی آشنای extract، embed و cluster هست. دورش تکنیک‌هایی جمع شده مثل prompt tuning، hard-example mining (یعنی پیدا کردن نمونه‌هایی که تشخیصشون سخت‌تره) و contrastive labeling. این تکنیک‌ها قبلاً تو notebookهای جدا با copy و paste جابه‌جا می‌شدن، ولی حالا تو یه package مشترک هستن که با هر تحقیق بهتر میشه.

هر تحقیق با یه سؤال پژوهشی تو یه چت شروع میشه و agent هم‌زمان همکار پژوهشی، اجراکننده و متخصص روش‌هاست. این ابزار به دیتاست یا حوزهٔ خاصی بسته نیست و روی هر منبع متن بدون ساختار کار می‌کنه. به گفتهٔ نویسنده، data scientistها حالا به جای اجرای تحلیل، روی بهتر کردن تکنیک‌ها و بررسی مبهم‌ترین داده‌ها وقت می‌ذارن. یعنی سهم قضاوت انسانی تو حساس‌ترین بخش‌ها بیشتر شده، نه کمتر.

بعد از یک سال، ده‌ها تیم برای صدها نوع تحقیق از Insight Miner استفاده می‌کنن و کاربرهای غیرفنی‌ش از فنی‌ها بیشترن، مخصوصاً تیم‌های operations و product insights. نگهداری خود harness هم با agentهای دیگه انجام میشه که دستورالعمل‌ها رو برای مدل‌های جدید به‌روز می‌کنن و برای باگ‌ها fix پیشنهاد میدن. نویسنده معتقده وقتی مدل‌ها همه‌گیر میشن، چیزی که ارزشش می‌مونه داده، workflow و سلیقهٔ متخصص‌هاست و harness جاییه که این سه تا جمع میشن.

نکات کلیدی:

• Insight Miner یه agent harness داخلی Airbnb برای تحلیل متن بدون ساختار در مقیاس بزرگه
• هستهٔ روش extract، embed و cluster هست، به‌علاوهٔ prompt tuning، hard-example mining و contrastive labeling
• تحقیق‌هایی که ماه‌ها طول می‌کشید، حالا تو چند روز انجام میشه
• بعد از یک سال، ده‌ها تیم برای صدها نوع تحقیق ازش استفاده می‌کنن و بیشتر کاربرهاش غیرفنی هستن
• کاربردها شامل کدگذاری جواب‌های باز نظرسنجی، ارزیابی عملکرد مدل و شناخت الگوهای تقلبه