メモ

データセンターがスプリンクラーの「誤作動」で水浸しになりかけた事例


企業が持つあらゆるデータやシステムがデジタル化され、AIの活用が進む昨今においては、膨大なデータを保存しているデータセンターが企業の核となっています。そんなデータセンターがスプリンクラーの「誤作動」によって危うく水没しかけたというヒヤリハットについて、金融取引企業のJane Streetに勤務していたマイケル・バカレラ氏が語っています。

How a false smoke alarm almost drowned Jane Street’s only NYC datacenter | Michael Bacarella
https://michael.bacarella.com/2026/11/10/false-smoke-alarm-jane-street-datacenter/

かつてJane Streetに勤務していたバカレラ氏は、システムやハードウェア全般の管理や修理を担うシステムチームに所属していました。バカレラ氏が勤務していた頃のJane Streetは、金融商品の取引を行うフロアのすぐ近くにマシンルームを設けていたそうです。


マシンルームを社内に設けた理由のひとつは知的財産権が侵害されることへの懸念であり、もうひとつは「緊急事態にすべての電源コードを抜いて、取引システムを停止させられるようにする保険」でした。Jane Streetには原子力潜水艦で働いていたパートナーが存在し、その人物の提言によって自動化システムを手動でシャットダウン可能にしていたとのこと。

会社が成長するにつれて、マシンルームにはオンラインUPS(無停電電源装置)やコンピュータールーム用空調設備(CRAC)、冷蔵庫サイズのネットワークスイッチ、ディーゼル発電機、大規模なサーバーキャビネットなどが追加され、大規模なデータセンターへと拡張されていきました。これらがすべて、ニューヨークの超高層のワンフロアに詰め込まれていたというわけです。


バカレラ氏はJane Streetに勤務し始めてからしばらくたった頃、片道1時間以上かかる通勤生活にうんざりして、会社からほど近いアパートを借りました。アパートから取引フロアのデスクまではドアツードアで徒歩9分で、システムチームのメンバーにその便利さを自慢していたそうです。

ある日の夕方、仕事を終えてアパートのエレベーターに乗ろうとしたバカレラ氏に電話がかかってきました。電話はJane Streetの香港支社からのもので「ニューヨークのデータセンターで煙感知器が作動した」という内容でした。

煙感知器が作動した原因は、データセンターの隣の部屋で作業していた請負業者が何かを切断する際に発生した粉塵(ふんじん)でした。この粉塵を煙感知器が検知したわけですが、この時点ではデータセンターのスプリンクラーは作動していませんでした。

Jane Streetのデータセンターでは、通常時は配管に通水せず、スプリンクラーヘッドとは別に設置された煙感知器が煙を感知するとまず配管へ通水し、その後、スプリンクラーヘッドに内蔵された熱検知器が放水を必要とするだけの熱を検知すると放水を行うという方式のスプリンクラーが導入されていました。


スプリンクラーの方式のおかげでまだ放水は行われていない状態でしたが、システムには「火災発生中に室内の空気が循環していると延焼につながるので、煙が感知されたらCRACユニットを停止する」という動作が組み込まれていました。

CRACユニットが停止すると排熱と冷却が行われなくなり、多数のラックが並ぶデータセンターの室温は上昇。火災は発生していないにもかかわらず、熱検知器が動作する150℉(65.6℃)に到達する可能性がありました。

もしスプリンクラーが動作してしまうとデータセンターに放水が行われ、Jane Streetの事業継続に支障が出かねないため、バカレラ氏は急いでオフィスにUターンしました。


エレベーターで33階まで上りオフィスに飛び込んだバカレラ氏を待っていたのは、サウナと化したデータセンターでした。バカレラ氏は両手でラックごとに電源コードを引き抜いて機器を無理やり停止させていきました。その結果、室温の上昇は143.6℉(62℃)という熱検知器動作のギリギリのところで食い止められました。

また、問題が発生した時間帯にはニューヨークの主要市場はすでに閉まっていたため、データセンターを無理やりシャットダウンした影響も最小限に抑えることができたそうです。

その後、Jane Streetでは一連の事態に関する会議が開かれ、「スプリンクラーはそのまま残しつつ手順と監視体制を強化し、オフィスビルでのデータセンター運用も続ける」という決定が下されました。

バカレラ氏は対策として、「各Linuxサーバーのオンボードセンサーで温度を計測し、1分ごとに全体の平均値を計算して、多くのサーバーで一斉に温度が上昇しているかどうかを検出する」というシステムを構築。温度上昇が確認された際はシステムチーム全員にアラートを発信し、データセンターが過熱状態になっていないか確認する体制になったとのことです。

・関連記事
360万件のサイトが落ちたデータセンター火災は水漏れが原因の可能性 - GIGAZINE

360万件のサイトが落ちたデータセンター火災の被害拡大原因は設備不足 - GIGAZINE

消火活動でびしょぬれになったAlibaba Cloudのデータセンターは慎重に乾燥中 - GIGAZINE

クラウドコンピューティングサービス「OVHcloud」のデータセンターで大規模火災が発生 - GIGAZINE

韓国の電子行政サービスや政府系クラウドの基盤である国家情報資源管理院で火災が発生しクラウドストレージ「G-Drive」が全焼、バックアップがなく完全に消失してしまうデータも - GIGAZINE

Facebookのデータセンター内に「雨が降った」という驚きの報告、その理由とは? - GIGAZINE

イランによるAmazonのデータセンターへの攻撃により顧客データが永久に失われる - GIGAZINE

ロシアのIT大手・Yandexのデータセンターがウクライナのドローン攻撃で大規模炎上、AI開発用スパコン2基も被災の可能性 - GIGAZINE

テクノロジー企業がデータセンターのエネルギーコストを負担しなければならないとする法案が進行中 - GIGAZINE

in メモ, Posted by log1h_ik

You can read the machine translated English article A data center nearly got flooded due to ….