2026年11月10日,量化交易公司 Jane Street 的系统团队披露了一起险些导致其纽约数据中心瘫痪的事故。起因是一次由施工灰尘引发的烟雾报警误报,触发了数据中心的紧急冷却停机机制,迫使工程师在喷淋系统启动前手动切断所有服务器电源。

Jane Street 长期将其核心机房与交易大厅保持物理邻近。这一策略源于两方面考量:一是防止知识产权泄露,避免服务器被窃;二是确保在自动交易系统失控时,人员能迅速通过物理方式切断电源。尽管存在远程关闭工具,但公司文化倾向于保留“拉电闸”作为最后手段。这种风险偏好部分源自一位有核潜艇服役经历的合伙人,其理念强调对自动化系统的怀疑,推崇机械式、可视化的紧急控制杆。
随着规模扩张,该机房升级为配备在线 UPS、计算机室空调(CRAC)、大型网络交换机、地下柴油发电机及约10排服务器柜的数据中心,位于曼哈顿下城一座名为“纽约广场1号”的普通办公楼内。
事故发生在某日晚间。由于数据中心旁准备室的承包商施工产生灰尘,触发了烟雾报警器。虽然未发生真实火灾,但警报信号导致室内空气循环系统停止运行。对于高密度计算环境而言,冷却中断意味着温度将迅速上升。
更严重的隐患在于喷淋系统逻辑。Jane Street 数据中心的喷淋管道平时不充水,仅在检测到高温时才加压注水。然而,烟雾报警本身并不直接触发喷淋,但若因报警导致冷却失效进而引发高温,则可能激活喷淋头,造成水损灾难。因此,必须在温度升高至触发喷淋阈值之前,手动断开所有设备电源。
当时居住在附近公寓的一名系统工程师接到香港办公室通知后,立即返回现场。他跑过华尔街区域,抵达大楼33层机房。此时室温显示为143.5°F(约62°C),随后稳定在143.6°F,未继续上升。由于正值纽约主要市场休市期间,此次事件造成的业务停机时间极小。
事后复盘发现,香港团队最初是通过监控显示器上多台服务器普遍出现的温度异常才识别出冷却故障,而非依赖专门的警报配置。这暴露了现有监控体系的不足。
为防止类似事件再次发生,团队开发了一套新的监控系统。该系统使用 OCaml 语言编写,每分钟直接向每台 Linux 服务器查询内置传感器温度并计算平均值。相比依赖 CRAC 单元状态或房间专用传感器的远程监测,直接采集服务器端数据被认为更可靠,能有效应对未知故障场景。





