‏چطور با کمک AI خطای تخمین حافظه رو ۹۹٪ کم کردیم

تیم مهندسی Mixpanel تعریف می‌کنه چطور خطای تخمین حافظه‌ی خط لوله‌اش رو حسابی کم کرد. این سیستم صدها هزار کار compaction رو پردازش می‌کنه و برای هر درخواست یه تخمین حافظه می‌زنه تا تصمیم بگیره چندتا رو هم‌زمان اجرا کنه. بیش‌برآورد یعنی هدررفت منابع و کم‌برآورد یعنی OOM؛ یعنی کرش پاد، تلاش مجدد و پیجرخوردن مهندس on-call.

سال‌ها تخمینشون یه ضریب ساده بود: حجم فایل ورودی ضربدر عدد ثابت ۲.۵. ساده و سریع بود، ولی اغلب صدها مگابایت اشتباه درمی‌اومد. برای فهمیدن دقیق ماجرا، طی یه پنجره‌ی سه‌روزه با لاگ‌گیری نمونه‌ای، ۱۴۶ هزار نقطه‌داده جمع کردن که حافظه‌ی تخمینی و واقعیِ هر درخواست رو ثبت می‌کرد. اینجا بود که هوش مصنوعی وارد شد: نویسنده که مهندس زیرساخته نه data scientist، با یه ایجنت هوش مصنوعی اسکریپت‌های تحلیل رو می‌ساخت — ایده رو توصیف می‌کرد، ایجنت اسکریپت رو می‌نوشت، او صحتش رو بررسی می‌کرد، اجراش می‌کرد و تکرار. کاری که عادتاً یه هفته فقط برای یادگیری ابزار وقت می‌برد، به چند ساعت فشرده شد.