Resend چطور API ایمیلش رو از Node به Go برد
خلاصهٔ کاملتر
تیم Resend تو این پست تعریف میکنه چطور API ارسال ایمیلشون رو از Node.js به Go بردن. کل کار هفت هفته و حدود ۱۴۰ پولریکوئست طول کشید و از اکتبر همه ترافیک API ایمیل روی Go هست. نویسندهها میگن بازنویسی یه API یعنی حفظ کردن سالها تصمیم، حتی اونایی که هیچوقت مستند نشدن: پاسخهای خطا، idempotency (یعنی اینکه یه درخواست تکراری دوبار ایمیل نفرسته)، rate limit و محتوای خود ایمیلها.
دلیل شروع کار مشکلات سرویس Node بود. تو موج درخواستهای بزرگ، یه task کامل از کار میافتاد. ریشهاش پارس و سریال کردن بدنههای بزرگ بود، حتی برای درخواستهایی که rate limiter داشت ردشون میکرد. این کارها تو Node.js سنگین و همزمان (synchronous) هستن و event loop رو تا تموم شدنشون قفل میکنن، یعنی بقیه درخواستها پشتش منتظر میمونن. timeoutهای S3 هم به شکل خطای 408 و 524 به مشتریها میرسید.
برای اینکه مطمئن بشن دو سرویس یه جور رفتار میکنن، یه harness ساختن که همون درخواست رو به Node و Go میفرسته و نتیجه رو مقایسه میکنه. فقط پاسخ HTTP رو چک نمیکرد، ردیفهای دیتابیس، آبجکتهای S3، idempotency و rate limitها رو هم مقایسه میکرد. حتی بعضی رفتارهای عجیب Node رو عمداً نگه داشتن، چون ممکن بود یکی بهشون وابسته باشه.
یه مثال خوبش تبدیل HTML به متن ساده بود. کتابخونه Go اولیه خروجیاش با Node فرق داشت: المنتهایی که data-skip-in-text="true" داشتن حذف نمیشدن و لینکها متن URL اضافه میگرفتن. یعنی ایمیلی که گیرنده میدید عوض میشد. برای همین یه پورت Go از همون رفتار نوشتن که با هر ۶۰ fixture ساختهشده از Node دقیقاً یکی بود. یه مورد دیگه attachmentها بود: SDK نود یه Buffer میگیره که با JSON.stringify به یه آبجکت تبدیل میشه و Go چون Buffer نداره، این تبدیل رو دستی بازسازی کردن.
تو rollout هم کار کم نبود. با اینکه Go منابع کمتری برای هر درخواست مصرف میکرد، دو بار مجبور شدن اندازه taskها رو دو برابر کنن. قبل از اوج ترافیک سر هر ساعت ظرفیت اضافه کردن، برای آپلودهای S3 تایماوت جدا برای هر درخواست گذاشتن و connection pool ردیس رو تنظیم کردن. نکتهشون اینه که مصرف کمتر میانگین نمیگه تو یه موج ناگهانی چقدر ظرفیت لازمه.
اعداد مال مرحله ۵۰ درصدیه، وقتی هر دو سرویس روی taskهای هماندازه بودن. median latency برای POST /emails از ۵۸ به ۳۱ میلیثانیه رسید و p99 از ۴۹۸ به ۴۲۰. حافظه هر task از حدود ۱.۳ گیگ به حدود ۱۸۰ مگ رسید و تعداد taskها تو اوج از ۳۴ به ۱۰. به گفته تیم، بیشتر کندی دم توزیع (tail) مال انتظار برای S3 و دیتابیسه و برای بهتر کردنش باید روی اونا کار کرد.
نکات کلیدی:
- مهاجرت هفت هفته و حدود ۱۴۰ پولریکوئست طول کشید.
- median latency برای POST /emails از ۵۸ به ۳۱ میلیثانیه و p99 از ۴۹۸ به ۴۲۰ میلیثانیه رسید.
- مصرف CPU هر درخواست حدود ۶۲ درصد کمتر شد و حافظه هر task از حدود ۱.۳ گیگ به ۱۸۰ مگ رسید.
- تعداد taskها تو اوج ترافیک از ۳۴ به ۱۰ کم شد.
- پورت Go تبدیل HTML به متن با هر ۶۰ fixture نسخه Node دقیقاً یکی بود.
- با وجود مصرف کمتر، اندازه taskها تو rollout دو بار دو برابر شد.




