‏۳۸ درسی که PostHog از ساخت محصولات AI یاد گرفت

ایان واناگاس از PostHog تو این پست ۳۸ درس از چهار سال ساختن محصول AI رو جمع کرده. PostHog ده محصول AI ساخته، مثل PostHog AI، ویزارد نصب، Replay Vision و Scouts، که ماهی نزدیک ۱۰۰ هزار نفر ازشون استفاده می‌کنن. اولین درسش اینه که AI می‌تونه محصول رو بدتر کنه: کند و ناپایدار باشه یا مشکلی رو حل کنه که کسی نداره، مثل چت با مستندات که هر AI دیگه‌ای هم انجامش می‌ده.

به گفتهٔ نویسنده، گاهی بهتره به‌جای ساختن AI، برای AI بسازین؛ مثلاً یه MCP server (یعنی رابطی که agentهای بیرونی مثل Claude از طریقش به محصولت وصل می‌شن). روزانه پنج برابر بیشتر از PostHog AI از MCP اونا استفاده می‌شه. فرصت خوب برای AI کارهاییه که بیشتر از ۳۰ ثانیه طول می‌کشن، زبانی مثل SQL می‌خوان که کاربر بلد نیست، یا بیش از ۲۰ بار تکرار می‌شن. آنبوردینگ هم هدف خوبیه: ویزارد نصبشون کار دو ساعته رو تو حدود ۸ دقیقه انجام می‌ده و کاربراش ۵ برابر بیشتر پولی می‌شن.

نویسنده می‌گه سؤال درست اینه که «نسخهٔ agent-first این محصول چیه؟» و باید بتونی جواب بدی چرا محصولت از Claude بهتره. جوابش زمینه (context) هست: قابلیت‌های محصول، دادهٔ کاربرها و skillهایی که ساختی. در عوض harness (یعنی لایه‌ای که مدل رو اجرا می‌کنه و ابزارها رو بهش می‌ده) مزیت رقابتی نیست؛ PostHog AI تو یه سال سه‌تاش رو عوض کرد. ارتقای مدل‌ها هم فرضیات رو به هم می‌ریزه؛ مثلاً استدلال ارزون o4-mini و tool use قابل اعتماد Claude 4 باعث شد ساختار PostHog AI رو از نو بچینن.

چند درس فنی هم داره: به agent اجازه بدین کد اجرا کنه، البته داخل sandbox. یه ابزار عمومی executeSql جای همهٔ endpointهای خوندنی رو گرفت و سؤال «چرا ثبت‌نام‌ها افت کرد؟» رو از چهار tool call به یه کوئری رسوند. هر کاری کاربر می‌تونه بکنه، agent هم باید بتونه؛ وگرنه آخر کار می‌گه «خودت برو تو UI کلیک کن». پرکاربردترین ابزارشون docs-search با حدود ۲۸ هزار فراخوانی در ماهه که به گفتهٔ نویسنده یعنی یه skill یا ابزار کم دارن.

دربارهٔ هزینه و کیفیت: ویزارد هر بار اجرا ۶.۶۷ دلار خرج داره ولی ارزشش رو داره. جابه‌جایی از gpt-4.1-nano به نسخهٔ flex از gpt-5-nano هزینه رو نصف کرد. subagentها گرون‌ترن چون cache والد رو شریک نمی‌شن.

اضافه کردن زمینهٔ بیشتر به ویزارد از بهتر کردن استدلال یا اضافه کردن subagent مؤثرتر بود. یه هشدار امنیتی هم هست: ورودی‌های عمومی می‌تونن به prompt injection برسن، یعنی کاربر دستوری تو داده بذاره که agent اجراش کنه.

تو بخش UX نویسنده می‌گه AI رابط کاربری رو نمی‌کشه، فقط کارش رو عوض می‌کنه: صفحه‌ها بیشتر برای تأیید، بررسی و برگردوندن کار agentها می‌شن. نشون دادن همهٔ مراحل، حتی tool callهای شکست‌خورده، اعتماد کاربر رو بیشتر کرد. و درس آخر: انتظار داشته باشین نصف این‌ها تا یه سال دیگه غلط از آب دربیاد. چیزی که کهنه نمی‌شه همون اصول محصول‌سازیه: با کاربر حرف بزن، سریع منتشر کن، آزمایش کن.

نکات کلیدی:

• استفادهٔ روزانه از MCP server شرکت PostHog پنج برابر PostHog AIه
• ویزارد نصب کار دو ساعته رو تو ۸ دقیقه می‌کنه، هر اجراش ۶.۶۷ دلاره و کاربراش ۵ برابر بیشتر پولی می‌شن
• PostHog AI تو یه سال سه بار harness عوض کرد؛ harness مزیت رقابتی نیست
• ابزار executeSql جای همهٔ endpointهای خوندنی رو گرفت
• docs-search با حدود ۲۸ هزار فراخوانی در ماه نشونهٔ کمبود skill یا ابزاره
• بیشتر شکست‌های agent از کمبود زمینه‌ست، نه ضعف استدلال