微软近日解释了一连串故障事件导致北欧的一些Azure客户在近7个小时的时间内无法访问其服务。

影响概述:2017年9月29日协调世界时(UTC)13:27至20:15,由于一个存储可扩展单元(storage scale unit)无法正常使用,北欧的一部分客户在连接或管理该地区托管的资源方面遇到了困难。依赖该地区受影响的存储资源、因此受拖累的服务包括:虚拟机、云服务、Azure Backup、App Services\Web Apps、Azure Cache、Azure Monitor、Azure Functions、Time Series Insights、Stream Analytics、HDInsight、Data Factory、Azure Scheduler以及Azure Site Recovery。

客户影响:一部分存储资源不可用,这导致相关的虚拟机关闭,以确保数据持久性。一些Azure Backup保管库在故障持续的这段时间内不可用,从而导致备份和恢复操作失败。Azure Site Recovery可能无法故障切换到最新的恢复点或无法复制虚拟机。HDInsight、Azure Scheduler和Azure Functions可能遇到了服务管理和作业故障,资源无不依赖受影响的存储可扩展单元。Azure Monitor和Data Factory遇到了依赖这个可扩展单元的管道方面的延迟和错误。Azure Stream Analytics作业停止处理输入及/或生成输出持续了几分钟。Azure Media Services的数据流请求、上传和编码出现了故障和延迟。

解决方法:将虚拟机部署到配备托管磁盘的可用性集(Availability Sets)提供了弹性,可以为基于虚拟机的工作负载防范重大的服务影响。

根本原因和缓解方法:在一次常规的定期灭火系统维护期间,发生了意外释放惰性灭火剂的情况。灭火机制被触发后,它开始自动关闭空气处理单元(AHU),这是为火势控制和安全设计的系统。虽然数据中心里面的情况得到了重新确认,AHU也重新启动,但受影响灭火区的隔离区的环境温度还是高于正常的运行参数。由于受到内部散热监测机制的触发,受影响区域的一些系统自动关闭或重新启动,防止这些系统过热。触发惰性灭火剂灭火在第一时间就知道了,在随后的35分钟内,所有AHU恢复正常,环境温度恢复到了正常的运行水平。数据中心设施的电源在这次事件中没有受到影响。所有系统已恢复到完全正常的运行状态,在调查意外释放惰性灭火剂期间,进一步的系统维护已被暂停。由于上述事件的性质以及受影响灭火区的隔离区域的散热情况方面的差异,一些服务器和存储资源没有以一种受控的方式关闭。因此,需要另外的时间来排查故障,并恢复受影响的资源。一旦可扩展单元达到了所需的运行节点数量,客户就看到情况得到逐渐而稳步的改善,直到20:15 UTC完全解决了故障,这时存储和相关服务都已完全恢复过来。

后续步骤:我们对于给受影响的客户带来的影响深表歉意。我们在不断采取措施改进微软Azure平台和我们帮助确保此类事件将来不会发生的流程。在这里,这包括(但不仅限于):灭火系统维护分析继续开展,设备工程师查明意外释放惰性灭火剂的原因,并且减小再次发生的风险。针对这种场景下的存储资源,工程团队继续调查故障情况和恢复时间方面的改进。随着重要的调查和分析工作深入开展下去,我们会在10月13日周五之前发布该RCA的补充信息。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

扫描二维码,将会有专人将您拉进“大数据交流群”“云计算交流群”“区块链交流群”“物联网交流群”

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-10-09 09:46:20
云资讯 红帽宣布支持Azure、.Net Core 2.0和SQL Server 2017
近期,微软和红帽宣布支持在Red Hat OpenShift上运行Windows容器。此次宣布所针对的主要场景,是让Linux和Windows容器工作于同一集群中。这将使具有混杂环境的企业无需分别 <详情>
2017-09-27 14:39:29
国际资讯 IDC公司:2017Q2全球专用备份设备(PBBA)市场规模持续下降
据IDC公司全球专用备份设备季度追踪报告显示,2017年第二季度(2017Q2)全球专用备份设备(PBBA)公司的营收年同比下降16.2%,总额达到7.2850亿美元。本季度,PBBA开放系 <详情>
2017-09-27 13:39:22
国际资讯 Gartner公布云计算市场排位:亚马逊微软阿里前三
9月27日,美国权威研究机构Gartner发布2016年全球公共云市场份额报告,全球云计算“3A”(亚马逊AWS、微软Azure和阿里云Alibaba Cloud)引领公共云市场,三者占据市场份额 <详情>
2017-09-26 10:05:00
云资讯 微软Azure云服务 推三款AI机器学习工具
微软今天针对开发者推出三款重要的新工具:Azure机器学习实验服务、Azure机器学习工作台以及Azure机器学习模型管理服务。此外,微软还针对那些想要借助Visual Studio Code <详情>
2017-09-20 09:18:00
云资讯 为推广云计算业务 微软Azure在华落地专利保护计划
9月19日,微软宣布“Azure知识产权保护计划”将于10月1日正式落地中国。这也意味着,中国的Azure企业用户能够享受微软提供的知识产权保护。亚马逊AWS及阿里云方面,但截至 <详情>