آژیر دود قلابی که نزدیک بود دیتاسنتر Jane Street رو غرق کنه
خلاصهٔ کاملتر
Michael Bacarella که تو تیم سیستم Jane Street کار میکرده، تو این پست یه ماجرای واقعی تعریف میکنه. Jane Street سالها اصرار داشت اتاق سرورش کنار سالن معاملات باشه. نویسنده میگه دو دلیل داشت: ترس از دزدیده شدن سرورها و استراتژیهای معاملاتی، و اینکه اگه یه سیستم معاملات خودکار از کنترل خارج شد، کسی بتونه بدوه و کابل برقش رو بکشه. این طرز فکر رو یکی از شریکها که تو زیردریایی اتمی خدمت کرده بود جا انداخته بود.
اون اتاق کمکم تبدیل شد به یه دیتاسنتر واقعی با UPS، واحدهای CRAC (یعنی کولرهای مخصوص اتاق سرور)، ژنراتور دیزل و حدود 100 کابینت سرور، وسط ساختمون 1 New York Plaza. یه شب پیمانکارها کنار دیتاسنتر داشتن کار میکردن و گرد و خاک، آژیر دود رو فعال کرد. دفتر هنگکنگ مشکل رو دید و به نویسنده زنگ زد که فقط 9 دقیقه پیاده تا دفتر فاصله داشت.
مشکل خود آژیر نبود، طراحی سیستم اطفای حریق بود. لولههای اسپرینکلر بالای اتاق سرور معمولاً خالیان و با تشخیص دود پر از آب تحت فشار میشن. ولی آب فقط وقتی میپاشه که سر اسپرینکلر بهخاطر گرما باز بشه. از اون طرف، آژیر دود به CRACها وصله و خاموششون میکنه تا هوا آتیش رو تقویت نکنه. یعنی با خاموش شدن خنککننده، خود سرورها اتاق رو اونقدر گرم میکردن که اسپرینکلرها باز بشن و همهچی رو خراب کنن.
نویسنده تا دفتر دوید و ردیف به ردیف برق همهٔ دستگاهها رو کشید. دما تا حدود 143.6 درجهٔ فارنهایت بالا رفت و همونجا ایستاد؛ آستانهٔ باز شدن اسپرینکلرها حدود 150 درجه بود. چون بازارها بسته بودن، از کار افتادن سیستمها خسارت چندانی نداشت و صبح روز بعد همهچی دوباره راه افتاد.
به گفتهٔ نویسنده، جلسههای بعدش خیلی منطقی و بدون مقصرتراشی برگزار شد. اسپرینکلرها موندن و فقط روالها و نظارت سفتتر شد. نکتهٔ جالب اینه که هنگکنگ مشکل رو شانسی دیده بود، چون هیچ سروری بهخاطر یه کم گرما هشدار نمیداد. برای همین نویسنده یه مانیتور با OCaml نوشت که هر دقیقه دمای سنسورهای داخلی همهٔ سرورهای لینوکسی رو میپرسه، میانگین میگیره و اگه بالا بود به کل تیم هشدار میده. نویسنده معتقده این روش از تلهمتری CRAC و سنسورهای اتاق قابلاعتمادتر بود.
نکات کلیدی:
- آژیر دود بهطور خودکار واحدهای CRAC رو خاموش میکرد و لولههای اسپرینکلر رو پر از آب میکرد.
- اسپرینکلرها با گرما باز میشن، نه با دود؛ پس سرورهای بیخنککننده خودشون میتونستن فعالشون کنن.
- دما تا حدود 143.6 درجهٔ فارنهایت رسید، نزدیک آستانهٔ حدود 150 درجه.
- راهحل نهایی یه مانیتور OCaml بود که میانگین دمای همهٔ سرورها رو هر دقیقه چک میکنه.
- یه افزایش کلی دما روی خیلی از سرورها نشونهٔ خرابی خنککنندهست، حتی وقتی هیچ سروری بهتنهایی هشدار نده.




