中国IDC圈1月12日，2015年1月7-9日，第九届中国IDC产业年度大典（IDCC2014）（http://www.idcquan.com/Special/idcc2014/live/）在北京国家会议中心隆重举行。本次大会由工信部通信发展司、中国信息通信研究院（工信部电信研究院）、云计算发展与政策论坛、数据中心联盟指导，中国IDC产业年度大典组委会主办，中国IDC圈承办，作为国内IDC行业规模大、具权威性和影响力的盛会，此次大会再创辉煌，三天的会议参会人数超过8000人次。

从1月7日到9日连续三天，工信部相关领导、IDC企业、电信运营商、互联网企业、设备厂商等各行业精英齐聚一堂，以"大变革 新生态"为主题煮酒论道。其中阿里巴巴集团技术保障IDC运营高级专家韩玉应邀出席本次大会并发表了"大型互联网数据中心技术架构趋势"的演讲。

阿里巴巴集团技术保障IDC运营高级专家韩玉

以下为韩玉演讲实录：

韩玉：各位嘉宾上午好。作为一个技术人员，我来分享一下大型互联网数据中心在基础架构方面的一些演进。整个主题包括了对数据中心的准确定位， 还有对大型互联网数据中心，在基础架构里面，从几万台到几十万台服务器，它们在路径里面走过了哪些共性的东西，在国内的互联网数据中心里面，我们也会同样发现什么样的事情，最后在实践过程中，我们在这个阶段的一些思考。

今天我们在说数据中心这个词的时候，其实大家对这个词的定义是有很多区分的。无论是从行业的方法，还是从硬件，其实大家对这个词的说法是非常之多的。比如说有人说云数据中心，或者互联网数据中心，而我们在这个主题里面，给数据中心定义的东西仅仅是基于下面这种硬件东西的那一层，它用来承载服务器网络关键底层硬件的东西，它是一个硬的东西，而不是我们说的数据中心和computer.第二个我们要定义的是大型，大型指的是十万级的量，因为对于一个数据中心来说，你有几百台服务器，几千台，几万台，你带来的结果，或者遇到的问题是完全不一样的东西，你是建一个小机房，是数据中心还是集群这完全是不一样的。我们在这里的区分，基于互联网行业属性所说的，在我们看到电商，产品，还是大数据计算，仅仅是你的服务，而数据中心远离这些服务。

在这个PPT里面，我们从行业的说法界定一下，数据中心在行业区分里面，我们所认为的数据中心的属性。这三个词我第一次听到是在2010年，一直用到今天。我们的理解互联网数据中心我们中间的定义，对于金融和政府来说，他们有什么引用的区别。在这张图里面我们用这两个词，可靠性和效率这两个词说明他们之间的区别，对于互联网数据中心他们一定是大规模、低成本、高效率，在传统金融里面更注重它的硬件可靠性。在这之间过程中，它的客户导向，就会说我可以做创新的，我也可以做稳定保守的，所以我们要看我们自己清晰的定位在哪里。

我们今天这个主题里面，抽选了我们刚才所提到的几个典型的互联网应用大型公司，作为研究他们的路径。在这个路径里面，我们同样对比国内BAT三家，第一个是搜索，对应的是国内的百度，第二个是社交就是Facebook，第三个是云，我们没用AWS，因为它所公开的东西非常少，我们更愿意用微软所公开的东西来对比阿里巴巴云服务的公司，我们来看一下他们在整个技术发展路径当中有什么样的不同。谷歌是业界最先看到数据中心本质的一个公司，它看到我的数据中心最重要的资产和最重要的东西是什么。它把最要害的东西先抓到，那就是服务器和网络设备。从IT硬件开始，我再网上推演。所以今天跟过去有所不同的是，数据中心在大家传统看来，就是造一个房子，有一个外壳再往里堆IT设备，实际上是不一样的。在互联网公司来说，最重要的东西是资产，资产就是服务器，服务器本来是重要性，还是它在整个资产的占比里面是极其高的。可能你会说我的一个数据中心有多么贵，实际上在数据中心整个生命周期里面有一个很重要词，数据中心里面我们能看到能耗有多大，其实非常少，整个数据中心的电设成本不到10%，加上整个运营电费不到15%.我们今天看到互联网整个服务里面，数据中心占比是非常小的。但是它又是非常关键的，因为它的核心大头，在于我们从源头发起，这是它的整个路径，我们反向推演它的产业链和应用新的角度，我们就发现了它12345，也就是说从IT硬件到我的基建再到我的数据中心，再到外部的产业链，是这样的推演路径。

在Facebook，我们看到它走得更快，站在巨人的肩膀上。它在非常短的时间里面，它从2005年开始组建这个公司到开始只是一个租用，到迅速把IT进行硬件的定制化，然后推出了业界最出名的OCP联盟，到今天它已经把数据中心这条链玩转的情况下，用了一个快速拼装的概念，同样去遵循刚才的说法，我的IT设备是什么样的东西，然后告诉你的基建应该怎么做。最后推演出来我的房子该怎么建，完全是翻过来的概念。最后，它应用了一个行业的领导力组建了这个联盟，再把它的产业链完全打穿，就是我们今天看到硬件可以怎么做，数据中心可以怎么做，对软件的控制怎么做，完全开源，让这个行业壁垒大大降低。

第三个我们看到微软，它应该是转型的互联网公司，它是传统IT很强的公司，但是它今天在做云服务的时候，这样一些云产品的时候，它也把产业链的东西进行完全的区开。它花了很长的时间在做数据中心，并不是自建的，但是后来它也延伸了这样一个路线，从租用到自建到IT的标准化，到IDC的标准化，再到环保新能源的产业链影响，它也产生了一个这种演进。所以我们用这张PPT来说明，这是一个偏硬的东西，一条产业链从定制IT的设备，到我的基建，到IT模块化，再到数据中心的模块化，再到监控管理平台的模块化，直到整条产业链，这样就整条链打通了。一个企业在做什么事情的时候，有它依赖的路径，但是这个行业有它的共通的属性，那也就是说我们应该理解自己的一个体系。这个体系指的是，我用的服务器从底层怎么搭建的，到上面应该怎么用，这个是你能够掌控，在这种掌控的情况下你才能做到标准化和优化，然后你再不断的进行迭代。

中间是中国山寨的一个东西，很好玩的一个东西，它是源于中国最出名的华墙北。它是一个手机，还是一个手电筒，还是一个计算器，还是一个点钞仪，它是集大成的非常中国化的一个东西。用这种话来说明什么事情呢？在中国的环境和美国的环境完全不一样的情况下，我们发现中国还是极具创新特性的，这种创新特性可能带来一定玩笑型的山寨，但是中国人的创新能力还是非常强，快速的学习能力还是非常强的。中国的市场环境跟美国的不太一样，一个是我们看到完全市场化的，从它的供电、网络，甚至它的市场整个建筑体系都是市场化的趋势。但是今天我们看到的，我们一个非常有特色的东西叫审批，我看到电力需要去找电老大去审批，网络要找运营商去架构，而且有各种协调。建筑、消防所有的东西都需要审批的，当然并不代表美国不审批，而是说审批需要很长的流程。同样我们在数据中心里面，我们能掌控的东西，在于同样可以有一个个性的东西，就是创新。大家都在用创新的手段来解决我们自己遇到的不同的问题。所以我们看到的结果是，美国可以完全用市场化的手段解决所有的问题。但是在今天的中国遇到的问题是在有限的条件下，我们怎么创新，所以中国会出现很多很好玩的东西。

这张图总结了中国这BAT三家在近些年他们做了哪些事情，可能只是步骤不完全一样了，但是它在整个拼图当中，他们做的这些事情都在推进过程中。比如说腾讯2009年开始大规模自建数据中心，到今天百度可能也在大规模的建数据中心。也许未来有阿里巴巴。但是数据中心自建的过程可能遭遇IT的这种优化，但是他们今天也在做了。那么，中国今天在BAT以及整个运营商发起了第一个联盟，叫开放数据中心联盟，这个联盟同样在做IT硬件和数据中心的优化，在这个联盟里面希望创新和我大的用户作为发起点和抓手。我分享一个数字，这个数字我不知道是不是真的。因为这个数字我们在行业内估算可能是比较合适，今年PC服务器的一年的出货量应该在150万到180万，BAT三家的出货量应该占到三分之一，所以如果这三家有三分之一加上运营商的这种力量，我相信应该左右了中国将近四成或者五成的市场，如果在这种情况下，它的产业链规模就可以掌握在自己的手里。在整个数据中心产业教训运营商也好，教训互联网公司也好，互联网公司在学会这些东西之后，他们会反向说我数据中心该怎么做，因为它更了解我自己用的是什么东西，我用的东西该怎么做。

今天大家会看到腾讯推出了的微模块，但是大家还在做机电模块。同样他们在做我怎么做好数据中心。今天的中国可能会说我有动力环境监控系统，包括跟很多公司在交流的时候，我的软件能力会有多强的时候，我们会发现这里面有很大的偏差。其实很大的偏差是来源于你不太明白他要什么。特别是最近国外的一些大型的公司，比如典型数据中心机电行业的一些领头人物进行交流的时候，他会说我之前提供的是解决方案，我们之前提供的是一个综合的，告诉你该怎么做的东西，我认为这是好的。但是今天的互联网说不是这样的，我要的东西不是这样的，而是我定义的东西。所以这张图可以显示，我们的整个架构趋势以我们的核心诉求为原点，再反向说我应该怎么做。

这张图可能延伸更大一些，说明了整个数据中心硬件体系里面，我们应该是在做哪些东西。这张图实际上反应了一个什么东西呢？就是我们的服务器是以计算节点或者存储节点为单元的，它是一个标准单元，但是我们的机架也可以是一个标准单元，当我们的标准单元做成一个模块的时候，它也是一个标准单元，这是微模块。大家可能很多人玩过，对硬件系统非常熟悉，哪怕是Hadoop，今天阿里云的系统也好，或者说你一个计算操作系统也好，叫一个claster集群，这个集群的单点规模，今天阿里云可以做5000个计算节点，可能Hadoop大可以做到在一万以内的规模。当我们把这些点凑成一个DC的时候，它就是一个逐渐累积化的单元，也就是说从底层到机架到IT单元，到我的claster单元，再到我的DC都是重新展示。你会发现我的数据中心长什么样子，反向我应该做多大。而不是你告诉我，今天批了十亩地，然后我建了五个房子，然后我建了四个变压器，也没有用，我们应该反向说我们要建什么东西，这应该是我们思考的。在思考的情况下，我们逐步发现了这个东西。阿里巴巴，包括这些互联网公司，也是从几十台服务器发展到了几百台，发展到几千台，今天从万到几十万的规模。我们发现解决到场景都要剖析来看，所以它有一套方法论的东西，这套方法论的东西，就在于说，你从底层打通了之后，我们应该怎么看这个东西。

当我们遇到十万级规模的时候，会遇到一个大的问题，我们不再像金融或者政企那么注重可用性，因为成本真的很贵。这里的贵不在于我硬件基建的东西有多贵，而在于我拿不到。一个10千伏变电站就是一万TV的容量，是非常之大的，这个变电站到10变电站，哪怕到20变电站，都是逐步递增的。上海去年一个20变电站的故障，导致三分之一到二分之一的城市全部供应得起了，就无法通电了。但是今天一个数据中心的规模，如果你要达到5万台服务器，你这时候就动用10变电站，你要达到十几万台，二三十万台服务器，你要动用20的变电站。数据中心当大到一定的规模的时候，就成为整个城市的很大的影响因素，它就会这种成为公众的基础设施，而且是非常关键的基础设施，这个时候我们就需要做一些简配，不仅在我们的资源需求层次，还在我们的硬件层次，更多的是我们应该用软的东西来解决我们硬件所不能解决的东西。因为软件代码的东西，我可以做到容易备份，我可以从节点到IT单元到claster这些集群实现冗余，当实现冗余的情况下，我的硬件成本的需求和这种标配就会大大的降低，这时候会实现软硬一体化。我在软硬一体化的情况下，才能解决我的可用性问题。

今天最典型的例子就是像搜索，它可以变成TE，一个数据中心可以用五千台的集群完全Down掉，这个可能在一些传统企业无法做到的，还有没法做到的。但我知道一个五千台的集群，恢复起来可能只要几个小时，它非常之快速，我甚至说可以关掉，这就是业界著名的，谷歌在比利时的数据中心，当运行到一段时间的时候，遇到夏天的时候，我把它关掉，过一段时间再重启，它的软件能力和系统架构能力要非常强健。第二个即使是像EBay或者阿里这样以支付宝客户为主的情况下，也不再像传统经营一样，一定要完全的double，冗余备份再冗余备份。而是我在关键的核心系统里面做到T4，大部分系统做到T2.因为有一个很重要的话，T4不代表百分之百的可用性，它只代表了五个九，五个九也代表了它损失五分钟，五分钟的服务实际上就是一次有损服务。我们在看到这一点的时候，实际上我们一定要注重这一点，因为你想偏里还是偏后，大家都非常清楚叫1.01和0.99的N次方，当你放大到五倍或者十倍的时候，你就会发现这两者的差距就是两倍到三倍。今天为什么说T4那么贵，而我们的互联网数据中心为什么会注重性价比，是因为我们更愿意往前走一步，愿意冒险一步，用在1.01的N次倍来对比你的0.99的N次倍，这不代表说你看不到那个风险，而代表你看到那个风险的时候该用什么解决方案，说我来解决这个问题。所以这是大家选择的基础路径不同，所以造成了你愿意在上面花的基础设施、软件和整个体系里面成本的综合分析。

我用一张PPT，然后浓缩了业界机电制冷整个技术的趋势，因为我看来机电就是底层支撑的系统，它一定是尽量缩短的整个路径，然后尽量简化的。如果在去年夏天的时候当比特币非常盛行的时候，我们惊讶的发现，比特币的玩家建立的数据中心是让我们最感叹的，因为他很胆大的说，我就租了一个空厂房，我就要了一个冷水主机，抽了水，然后我就在那里搭了水冷背板，然后我就挖了一堆的服务器，然后拿着大风扇就吹了，这应该是我们所要达到的。数据重不重要？非常之重要，但是我们应该清楚的说到，我们不应该是搭硬件的。靠这个可靠性，因为我们今天发现IT设备越来越不那么娇贵了，而且它能够给我们带来的东西，当我们达到一定程度的时候，我们发现我们要尽量往优化的方向走。这两天大家也看到了液冷，液冷今天还在实验室阶段，但是我非常高兴，中国也敢在IT硬件里面走到很新颖的地步，这是我们之前不太敢去想象的。因为今天的液冷还用在高性能计算上面，还不太用于互联网业务。但是我们今天已经发现传统的PC，从集中到分散再到集中的过程中，也许液冷是一个方向。PC的传统服务器，就像今天的Azure所推进的数据中心温度标准有24度，27度，也许会变成了32度，也许可以更高，达到了服务器的设计温度35到40度，当我的服务器达到35到40度的情况下，全国应该就不会产品问题，我的PUE也可以是节能的数据中心，从1.5到1.2或者1.1，这才是产业里面对于能耗能解决的一个关键问题。今天我们所提到的我怎么节能，在我看来很多东西都是太扯了。如果没有IT的兼容性，今天的数据中心你根本做不到降低能耗，今天你能做到1.5已经很了不起了。但是你没有自然冷，你想在深圳、三亚，做到PUE小于1.5，我觉得真的会非常的难，中国真的很难做到。

所以我们应该从底层硬件的可用性来实现整个IT应该怎么走。还有一个比较有中国特色的东西就是高压直流，高压直流今天可能宣传得比较多，但是它是最适合中国市场化的东西，它用了一个240伏的直流供电，来取代了220的交流供电，但是业界会说我有336的高压直流，你会发现市场化的东西打败了我们认为技术领先的东西，所以我们在应用的时候，一定要说这个东西是不是一个技术趋势。我相信打败现有的东西一定是趋势，而不是你的理性。所以在中国大家都在往这条路上走，市电直购，然后直流做UPS的后备。而不是说你告诉我，今天有中频机，明天有高频机，我应该用得更省的是不用UPS或者用极少的UPS，当然我的冷机就应该不用，我应该尽量去我们中间所有的环节，这才能达到真正的节能或者降耗。

刚才说了一大堆的理论也好，还是技术趋势，就会问你今天做了什么东西。今天我们在互联网数据中心里面，对于IT模块化，今天最突出的应该是腾讯的微模块，这个概念大家都在做，只是大家对微模块的理解是不一样的。但是如果从我们BAT三家理解来说，它就是一个claster.当我一个业务集群是多大的时候，我就是一个IT标准模块。它就是一个标准的，基于我的claster单元所做成的一个机电一体化的东西。今天我看到所有人都在说，我的硬件模块是微模块，告诉我微模块该怎么搭的时候，我会说你是否了解IT的claster是什么样的。如果你不了解，你搭的微模块未必适合。第二个，大家刚才提到的，我的机电层次上有IT，应该做成一个机电模块，所以我的机电搭配多大的规模，到底一个模块是两百千瓦，还是两千千瓦，还是一万千瓦，这个就由这个来决定，所以我的数据中心做得标准的。最后我做到一个数据中心的时候，我就搭成一个demo.所以今天阿里在做什么，这个已经实验出来，制冷模块在实验过程之中，标准化已经实现了。我相信百度在这个层次里面可能做得是好的，百度实现了这两个东西，实现了这个，这个它也实现了。

这张图说明了在硬件趋势里面，有做到有没有做到的。这是我们和百度共同做的，我们认为去冷机化也好，去电力单元化也好，把这条路径省到最低是我们的方向，所以我们今天要做的是这两个东西。我们在用这两个东西的时候，发现说我真的可以把PUE从1.2降到1.1，这个是目前业界已经完全实现的，今天的OCP联盟把这个作为一个标配的单元。今天我的机柜也好，标准服务器也好，今天我完全可以做到市电主供99%，这个电源在做备用。今天BAT三家的数据中心系统供电效率可以达到97%到99%，也就是今天的PUE的影响因子在供电环节，扣掉BRT之前的环节，在于电源效率的损失，只有一个点到两个点，所以我认为这条路已经走到了尽头，这个是我们努力的方向。

当今天绿色和平组织和一些国际环保组织在找国际互联网中心麻烦的时候，同时它也盯上互联网国内的互联网数据中心。同时大家对于承担社会责任来讲，特别是马云是一个协会中国区总裁的时候，我们发现数据中心的成本，不应该只考虑成本，应该考虑对社会的价值贡献。所以清洁能源这部分，也是阿里考虑的方向。2010年开始，阿里就开始寻找这种清洁电的应用方向，也许阿里下一个自建数据中心就会在这里产生，它有分电厂有直供的电网，可能你还会看到周围有滑雪场，当然让我们拭目以待。

在这个数据中心里面，这个数据中心是这两年一直是合作伙伴在努力建的，并且明年可以上线的数据中心。我们引用了一个自然湖泊的水，经过过滤处理之后，用来冷却数据中心。我们取自于自然的东西，我们应该怎么回馈周围的东西，我们利用数据中心的余热，用来在整个数据中心的办公环境进行采暖。同时我用的是湖水直供的水，所以我做了湖水抽上之后在回流之前，做了一些水力发电。同时水在加热之后，可以用于周围酒店冬季水源的采暖。最后因为这个是跟政府合作，打造一个新厂，政府会注重在一个区域的分水布局，所以我们也做了一些喷泉回馈给社会，最后再经过干净水回馈到整个湖里。我要说明的事情，这个数据中心如果你只单纯做了前面这两个，你只有什么价值的时候，政府不会批给你，别人也不会陪你玩的。我们只是说在做一个事情的时候，应该玩转一个链，这就是我们刚才说的体系化的思考，以及标准化体系的东西，不仅仅说你有什么好处，而不能让所有人陪着你吃亏。这是我们从中认知的。

还有一个今天数据中心，我们应该是做所谓的SDXX，SDI、SDN、SDDC，整个环境我们应该是从硬件，从claster到DC，到整个服务器都应该关联联动和调度的，也就是说我们今天做的所有事情都是软硬一体的，我软件的强大能力来自于对于硬件的简配，来自于我对硬件的掌控。

最后分享一下，这个想说明一个问题，今天的IDC的玩法，生态链从原来只跟运营商玩，到今天所盛行IDC地产，到今天有一些代建代维，最后我们发现它是一个金融生态链，以阿里巴巴为例，比如说有一个一万机架的机房，我要多少钱，这个合约我给到了第三方，第三方就可以拿着这个合约去贷款。你可以从阿里巴巴的银行贷，也可以从金融贷，最后你再把这个租金的收益反馈回来，你就会形成一条生态链，所以生态链是你自己去驱动打造的。最后做一下阿里巴巴官方微博的宣传，这是阿里巴巴的技术保障的整个情况，谢谢大家。