
2026 年 11 月 16 日,微软公布了上周 Microsoft 365 全球大规模故障的调查结果。
此次故障源于今年 7 月部署的一次软件修复,该修复引入的代码缺陷潜伏超过 3 个月,最终在流量增加、服务器容量下降等因素共同作用下被触发。
微软 11 月 15 日发布的初步事故报告显示,故障持续近 24 小时,最严重时超过 80% 的网络网关服务器失去响应,导致全球大量用户无法访问 Outlook 邮箱,邮件收发受到影响。

此次故障始于 11 月 12 日 16 时 20 分(UTC),至 11 月 13 日 16 时 10 分解除持续性影响,历时 23 小时 50 分钟。
调查确认,事故并非由单一因素引起,而是三个原本相对独立的问题叠加,最终引发全球网络网关基础设施的连锁故障。
第一个问题,是今年 7 月的一次软件修复引入了潜在缺陷。
微软此前为 Microsoft 365 网络网关服务器部署了一项专用软件修复。相关更新从今年 7 月开始部署,经过测试后,在数周内逐步推广至全球服务器。
部署期间没有出现明显异常。
此后超过 3 个月,相关代码一直在生产环境中运行,未引发可观察到的故障。
但这项修复实际上引入了 Windows 内部进程的锁争用问题(Lock Contention)。
锁争用是指多个线程或任务在并发执行时,争夺同一共享资源的访问权限,导致部分线程需要等待资源释放,影响系统处理请求的效率。
微软调查发现,在特定负载条件下,网关服务器内部的锁争用会加剧,导致连接请求处理受阻、请求不断积压,CPU 和内存资源最终耗尽,使服务器失去响应。
微软的常规负载测试未能发现这一缺陷。
事故报告指出,测试环境使用的服务器配置和流量组合,与实际生产环境存在差异。测试主要集中在 CPU 核心数量较少、性能相对较弱的服务器上,而此次锁争用问题恰恰在 CPU 核心更多、硬件更新的服务器上更加严重。
因此,相关软件修复虽然通过了测试,并在全球运行了数月,却始终没有暴露出这一潜在问题。
微软特别说明,该缺陷及相关修复仅涉及 Microsoft 365 专用网络网关服务器,并不影响普通 Windows 系统部署。
第二个问题,是 Teams 流量转移至 Exchange Online 使用的主网关。
微软为 Microsoft 365 设计了两套相互独立、采用不同技术实现的网络网关系统,以提高服务的可用性,并实现故障隔离。
正常情况下,当其中一套网关出现问题,部分服务可以通过自动故障转移机制切换至另一套网关,避免用户连接中断。
11 月 12 日 1 时 07 分(UTC),也就是此次大规模故障发生约 15 小时前,自动故障转移系统将 Microsoft Teams 的流量,从另一套网关转移至 Exchange Online 使用的主网关。
这次切换属于微软正常的高可用性运行机制。
但 Teams 流量进入后,主网关需要处理更多连接请求,原有的流量分布和请求类型也发生了变化。
这一变化增加了服务器内部发生锁争用的可能性,为此前潜伏的软件缺陷创造了触发条件。
第三个问题,是主网关约 14% 的服务器容量恰好处于不可用状态。
事故发生时,由于前一天出现的另一项独立故障,相关网络网关已有接近 14% 的服务器容量暂时退出服务。
这些容量原本正在通过常规维护和健康检查流程逐步恢复。
微软指出,网关系统本身具有足够的冗余容量,单独损失这部分容量不会导致服务中断。
但在 Teams 流量已经切入主网关的情况下,剩余服务器承担的负载进一步增加。
当美国进入流量高峰时,负载增加、可用容量下降与 7 月引入的软件缺陷同时作用,最终触发了大规模故障。
部分网关服务器开始无法正常处理连接请求,请求持续积压,直至服务器失去响应。
真正让故障迅速失控的,是微软原本用于保护服务的自动流量重定向机制。
按照正常设计,当一台服务器无法响应连接请求时,流量管理系统会自动将用户请求转移至其他正常工作的节点。
这套机制本来能够隔离局部硬件或软件故障,避免单台服务器异常影响整体服务。
但此次故障中,其他服务器同样运行着存在缺陷的代码。
随着故障服务器不断增加,原本由这些服务器承担的请求被重新分配至剩余服务器,使后者承受更高的负载。
负载升高又触发了相同的锁争用问题,导致更多服务器失去响应。
此后,自动流量管理系统继续重定向请求,剩余服务器再次承受更高负载,形成不断扩大的连锁故障。
微软指出,故障蔓延阶段的问题并非整体网络流量异常暴增,而是越来越多服务器退出服务,导致原有流量集中至数量不断减少的可用服务器。
不到两个小时,故障便扩散至整个网关服务器集群。
最严重时,超过 80% 的服务器处于无响应状态。
更严重的是,微软原本为阻止跨区域故障扩散而设置的隔离机制,也未能发挥预期作用。
正常情况下,Microsoft 365 网络网关由数千个容量单元组成,每个单元包含相应的计算容量、硬件及网络基础设施,并按照不同区域进行组织。
这些区域和容量单元之间设置了故障隔离机制,目的是限制局部故障的影响范围,防止故障向其他区域蔓延。
但微软承认,由于另一项独立问题,这些隔离机制未能阻止连锁故障继续扩散,最终导致全球网络网关基础设施受到影响。
此次故障就像一条高速公路发生了连环堵车。
微软 7 月的一次道路维修留下了隐患,平时没有暴露问题。
到了 11 月,另一条线路的车流突然汇入,恰好又有约 14% 的通行能力暂时无法使用,部分路段开始拥堵。
交通调度系统立即将车辆引向其他畅通路段,没想到这些路段也存在同样的隐患。
结果,一处堵塞,车辆就涌向下一处,最终引发大范围连锁拥堵。
更麻烦的是,即使暂时疏通了一段道路,积压的车辆也会迅速涌入,再次造成堵塞。
故障发生后,微软尝试重启服务器,却陷入了恢复后再次失去响应的循环。
工程师最初尝试调整流量路由、增加服务器容量、修改健康检查机制,以及重新启动失去响应的服务器。
部分措施曾短暂恢复服务,但服务器重新上线后,很快又因积压的请求大量涌入而再次失去响应。
11 月 12 日 23 时 55 分(UTC),微软确认,部分服务器最初恢复正常,但接收流量后又会重新进入无响应状态。
11 月 13 日 0 时 30 分,工程师将主要问题定位至连接建立与协商环节,发现内部进程之间的资源争用阻碍了连接请求的正常处理。
到 1 点,调查进一步确认,负责建立连接的服务器进程在负载下不堪重负,导致服务器停止处理请求。
微软随后关闭部分自动流量重定向机制,并采取调整流量、增加容量等措施,试图减轻服务器压力。
然而,这些措施只能暂时缓解故障,无法消除代码本身的问题。
此次恢复过程还受到两个因素限制。
一方面,微软原有的自动恢复机制并非针对如此大规模的服务器同时失去响应而设计,无法依靠常规流程迅速恢复整个集群。
另一方面,真正存在缺陷的代码早在 7 月就已部署,距离故障发生已经超过 3 个月。常规代码回滚、灰度发布控制及功能开关机制,已无法快速撤销这一历史变更。
工程师最终只能开发新的修复更新,使 Windows 中负责连接处理的代码路径恢复至此前已知能够正常工作的状态。
11 月 13 日 7 时 20 分(UTC),微软开始将这一修复应用至部分服务器。
为避免修复过程中再次引发负载集中,工程师采取分批恢复的方式,先将部分服务器退出服务,部署修复并重新启动,确认运行稳定后再接入流量。
在部分区域,单批次修复涉及超过 50% 的基础设施容量。
当天 8 时,微软确认已完成修复的服务器保持稳定,并开始优先恢复正处于或即将进入业务高峰时段的地区。
10 时,服务开始趋于稳定。11 时,亚太地区部分受影响基础设施完成恢复操作。11 时 35 分,欧洲地区服务可用性恢复至正常水平。
14 时 17 分,全球网页邮箱服务可用性恢复至预期水平。16 时 10 分,微软确认用户已不再受到此次事故的持续性影响。
不过,各项服务的恢复速度并不一致。
Teams、OneDrive、SharePoint 和 Office 应用能够将流量切换至其他网关,因此部分功能较早恢复。Teams 聊天和会议功能在故障持续期间的大部分时间内仍可正常使用。
Exchange Online 则受系统规模限制,无法采用相同方式快速切换,因此恢复时间更长。
微软报告显示,此次故障还涉及 Copilot、Defender、Purview、Intune、Power BI 等 Microsoft 365 服务。其中,部分服务主要是依赖 Exchange Online 的功能受到影响,并非所有功能全部中断。
针对邮件延迟问题,微软延长了邮件投递窗口,避免积压邮件因超时被退回,并继续处理故障期间进入队列的邮件。
截至 11 月 15 日,微软已完成连接处理代码修复、额外容量部署、流量重定向监控增强及流量分配防护措施。
云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。

