تجربه کوچ از بکاند به AI product engineering
خلاصهٔ کاملتر
Dylan Martin توی این پست تعریف میکنه چرا از رهبری تیم feature flags در PostHog رفت سراغ AI product engineering، یعنی ساختن محصولاتی که روی مدلهای زبانی سوار میشن. نویسنده میگه این تغییر اونقدر که شرح شغلها نشون میده بزرگ نبوده. خود مهندسی نرمافزار داره عوض میشه و موندن تو کار سیستمی هم آدم رو از این تغییرات دور نگه نمیداشت. به نظرش تو هر نقشی هنوز باید سیستمها، حالتهای خطا و راه اثبات درستی کار رو بفهمی.
اون قبلاً هم روزانه با ایجنتهای کدنویسی کار میکرده و میدونسته کجا کمک میکنن و کجا خرابکاری میکنن. همین باعث شد بخواد محصولی بسازه که کاربرا بدون افتادن تو همون تلهها، از بهرهوری ایجنتها استفاده کنن. دلیل دیگهش این بود که روی کار UI فلگها بیشتر الگوهای شناختهشده رو پیاده میکرد، ولی میخواست روی رابطهایی کار کنه که هنوز کسی نمیدونه «خوب» براشون چه شکلیه.
مهارت تازهای که مجبور شد یاد بگیره نوشتن eval بود، یعنی تستهایی که برای رفتار غیرقطعی LLMها طراحی شدن. ایده شبیه تست نرمافزاره، ولی eval باید منعطفتر باشه چون یه درخواست میتونه چند جواب درست داشته باشه و گاهی بهترین جواب، یه سؤال از کاربره. مثال نویسنده: یه ابزار کوئری جدید برای ایجنت تحلیلی ممکنه وقتی تعداد ثبتنامها رو به تفکیک کشور میپرسی، بهجای کاربرای یکتا تعداد رویدادهای signup رو بشمره. eval همچین regressionی رو قبل از انتشار میگیره. توصیهش اینه که eval نوشتن رو همزمان با ساخت محصول یاد بگیری.
به گفته نویسنده سختترین بخش، تعادل بین ساختن UI برای آدمها و در دسترس گذاشتن همون قابلیتها از طریق MCP (یعنی Model Context Protocol، پروتکلی که ایجنتها باهاش به ابزارها وصل میشن) و skillهاست. اون معتقده برای workflowها، وقتی میدونی چی میخوای، سپردن کار به ایجنت خیلی بهتر از کلیک کردن تو UI ـه. این فشار رو میندازه روی ابزارها: ایجنت باید بدونه کدوم ابزار رو صدا بزنه و تکرار یه درخواست نباید یه تغییر رو دو بار انجام بده.
ولی جایی که آدم باید تصمیم بگیره ایجنت چی کار کنه، به نظرش UI لازمه. مثلاً وقتی ایجنت میخواد یه feature flag رو rollout کنه، دیدن blast radius (یعنی چند نفر تحت تأثیر قرار میگیرن) با یه نمودار خیلی کمک میکنه. نویسنده میگه آدمها خیلی قبل از خوندن یاد میگیرن چیزها رو با چشم بفهمن. به نظرش همه از «human in the loop» حرف میزنن، ولی هنوز کسی نمیدونه جای دقیق آدم تو این چرخه کجاست.
نکات کلیدی:
- به گفته نویسنده، مهارتهای پایه مثل فهم سیستمها و حالتهای خطا تو AI product engineering هم همونقدر مهمن
- eval مثل تست نرمافزاره ولی برای رفتار غیرقطعی LLM و پذیرفتن چند جواب درست طراحی میشه
- یه eval خوب میتونه regressionهایی مثل شمردن رویداد بهجای کاربر یکتا رو قبل از انتشار بگیره
- برای workflowهای مشخص، MCP و skillها از کلیک تو UI بهترن، ولی تکرار یه درخواست نباید یه تغییر رو دو بار انجام بده
- جایی که آدم باید تصمیم بگیره، پیشنمایش بصری مثل blast radius از متن خالی مؤثرتره




