چرا Evil Martians مهاجرت به Railway رو سه هفته قبل از موعد لغو کرد
خلاصهٔ کاملتر
Evil Martians اوایل امسال شروع کرد یه پروداکشن پرترافیک Rails رو از Engine Yard به Railway ببره. runbook نوشته شده بود و حتی TTL رکوردهای DNS رو هم پایین آورده بودن، ولی سه هفته قبل از جابهجایی همهچی رو لغو کردن. تیم تأکید میکنه که Railway رو دوست داره و برای workload مناسب دوباره پیشنهادش میده. مشکل این بود که یه دامپ MySQL یکسان روی یه سرویس ۷۱ دقیقه و روی یکی دیگه ۳۸۲ دقیقه طول کشید.
دلیلش Railway Metal بود، یعنی سرورهای فیزیکی خود Railway. پلتفرم وسط مهاجرت از Gen 1 (اینتل Xeon) به Gen 2 (AMD EPYC Zen 5c با ۹۶ هسته و DDR5) بود و ناوگان ترکیبی از هر دو بود. وقتی ظرفیت کم میاره، Railway روی VMهای اجارهای GCP و AWS هم burst میکنه؛ طبق گفتهٔ خودش تو ژوئن ۲۰۲۶ حدود ۴۰ درصد workloadها روی همین ظرفیت بودن. جالبه که سریعترین اجرا (۷۱ دقیقه) روی همون VM اجارهای GCP بود. نمیشه نسل سختافزار رو انتخاب کرد یا از Metal بیرون اومد.
سرویسهای مدیریتشده هم سقفهای سفتی دارن. PostgreSQL با HA (یعنی دسترسپذیری بالا با failover زیر ۳۰ ثانیه روی Patroni) در واقع یه تمپلیت هفتکانتینریه که پچ و مانیتورش با خودته. PITR (برگردوندن دیتابیس به یه لحظهٔ خاص) فقط برای PostgreSQL هست و برای MySQL و Redis فقط بکاپ روزانهٔ volume داری. هر volume، تو هر پلن و هر سایزی، سقف ۳۰۰۰ IOPS خوندن و ۳۰۰۰ نوشتن داره و پلن سریعتری هم برای ارتقا وجود نداره. نویسندهها میگن این ساختاریترین محدودیت پلتفرمه.
لاگها برای دیباگ خوبن ولی نه برای نگهداری. log drain داخلی وجود نداره و باید خودت Vector یا OpenTelemetry collector راه بندازی. بیشتر از ۵۰۰ خط در ثانیه برای هر replica دور ریخته میشه، و تیم سه بار تجربه کرده که لاگها چند ساعت کامل غیب شدن. توصیهشون اینه که از روز اول همهچی رو بیرون از پلتفرم فوروارد کنی.
Railway عمداً rollback خودکار نداره. با healthcheck، بیلدی که بالا نیاد اصلاً promote نمیشه، ولی بعد از live شدن دیگه healthcheck رو نگاه نمیکنه. یعنی سرویسی که ده دقیقه بعد crash-loop بشه، خودکار برنمیگرده. سرویسهای دارای volume هم نمیتونن دو deployment همزمان داشته باشن، پس هر redeploy قطعی واقعی داره. اسکیل افقی هم دستیه. علاوه بر این، Railway تو مه ۲۰۲۶ با معلق شدن حساب GCPش حدود هشت ساعت قطع بود.
در نهایت تیم هفت سؤال پیشنهاد میده: آیا پراکندگی ۵ برابری زمان CPU کارتو خراب میکنه؟ RPO و RTO دیتاستورت چیه؟ سرویسهای جایگزین چقدر خرج دارن؟ اگه لاگها غیب بشن چی؟ مسیر برگشت از deploy خراب چیه؟ چقدر حاضری بخشی از منحنی رشد پلتفرم باشی؟ و راه خروجت چیه؟ برای خودشون سؤال اول تعیینکننده بود: پنجرهٔ نگهداری سه تا چهار ساعت بود ولی بدترین اجرا شش و نیم ساعت طول کشید.
نکات کلیدی:
- یه دامپ MySQL یکسان روی سرویسهای مختلف Railway بین ۷۱ تا ۳۸۲ دقیقه طول کشید
- حدود ۴۰ درصد workloadهای Railway تو ژوئن ۲۰۲۶ روی ظرفیت اجارهای GCP و AWS بودن
- هر volume سقف ثابت ۳۰۰۰ IOPS خوندن و ۳۰۰۰ نوشتن داره، بدون گزینهٔ سریعتر
- PITR فقط برای PostgreSQL هست و بکاپ زمانبندیشدهٔ بقیه حداکثر روزی یک باره
- بیشتر از ۵۰۰ خط لاگ در ثانیه برای هر replica دور ریخته میشه
- بعد از live شدن deployment، healthcheck دیگه چک نمیشه و rollback خودکار وجود نداره




