10月17日,2018年开放数据峰会(Open Data Center Summit 2018,下文简称ODCC)新技术与测试分论坛在北京国际会议中心举办。ODCC关注数据中心产业的各个方面,从国家政策和法规,到地方制度和项目,从产业全局发展到具体技术落地,从尖端热点技术到传统行业推广,从国内到国际,从宏观到微观,全力推动中国数据中心产业发展。

谢丽娜

以下为中国信通院云大所数据中心研究部项目经理谢丽娜对《液冷技术与应用发展白皮书》解析。

大家下午好!今天下午会议的主要议题是液冷,包括BAT、美团、GRC都带来了精彩的分享。ODCC本次峰会发布了《液冷技术与应用发展白皮书》,得益于很多企业的支持,给我们提供了很多的优秀案例和技术细节的分享。

下面为大家介绍一下技术白皮书。主要从以下六个方面来介绍,第一:引入,首先看一下液冷应用的背景,随着人工智能、云计算大数据等分布式计算架构的创新发展,作为IT基础设施所承担的计算量越来越大,对于计算效率的要求越来越高,为了应对这些挑战,数据中心的功率密度节节攀升,除了带来能耗问题,烧了大量钱,高密度的数据中心也给制冷设备和供电系统提出了更高的要求。传统的空调或者风冷面对高密度呈现疲态,散热效率跟不上计算效率,长此以往会制约计算设备的发展。无论在大型的云计算数据中心还是小型的边缘数据中心包括模块化的数据中心,液冷都呈现出来更好的部署效果。

那么风冷到底有哪些不足才选用液冷的呢?给大家总结一下。空气本身的密度与比热乘积与大部分液体相差千倍甚至万倍,带走同样的热量空气需要更多的体积流量;其次呢,空气流量的剧增也给机房的建设带来困难,需要给地板设计较大的架空高度;空气的对流换热系数比较低,导致用于冷却空气的介质温度必须处在较低值,会导致机房空调能耗高,能源使用效率低下。

说完风冷的不足,说说液冷的好处。下面介绍一下液冷优势和三种主要类型分别的优势。为什么要用液冷?刚才各位提到了,计算效率在升高,密度在增大,计算工作也会越来越复杂,液冷其实是行业拉出来救火的。液冷的优势体现在三方面,一是比热容很大,散热效率很高。这个比热容表示吸收同样热量温度变化较小,所以我们可以增大CPU内部部署密度,提高集成度。第二点,可以降低能耗,减少支出成本。我们做了一些统计,中国的数据中心保有量将近6万个,年总耗电量超过三峡大坝全年的发电量1200亿千瓦时,带来了高昂的电费开支,液冷可以减少电费支出。第三,节能环保,降低噪音指标。一般而言,数据中心的能源消耗,在运作的时候只有1/3是给IT设备,2/3都来自于制冷的设备消耗。此外,一旦风扇想要跟上散热效率,机器设备的声音是非常大的,用液冷可以达到静音机房的效果。

我们一直提的液冷三种类型,是冷板式、浸没式和喷淋式。首先数据中心整体的液冷其实可以认为是液体的回路,其中冷却液体与冷却的发热器件做热交换,整个数据中心液体冷却的回路如右图。具体的冷板式液冷系统,冷却机柜上配置一些分水器,通过内部冷板来进行换热,与冷板的接触过程中提供分置的管路分别进行液体的进入和流出整体的循环。液体在机柜汇聚,通过外部的管路和连接的接头,与冷量分配单元CDU,这个CDU可以是内置也可以是外置的,实现整机柜的液冷循环。它的优势点在于集成度很高,散热效率很高,因为液体不需要直接接触设备,比浸没和喷淋相对更安全一些。

浸没式顾名思义把整个发热器件直接浸泡在液体中,通过液体与外界进行热交换,一般冷却液的热导率是空气的6倍,单位体积的热容量是空气的1000倍,使得液冷的传热速度和储热能力都会比空气高很多。浸没式的液冷优势,首先体现在它与发热器件直接接触,热传导率的比热容很大,运行的温度变化比较小。可以支持高功率密度的IT部署,我们刚刚举的是CPU的例子,可以极大地提升使用效率。喷淋式的架构,刚刚提到的架构并不是一定的,各家实践过程中可以有很多的备选方案,比如这里面提到的冷水接触或者是冷媒分配单元,都是可选的,随着技术的进步也会看到更多先进的有效手段。

喷淋式和浸没式相象之处,液体都会直接接触发热器件,主要通过喷淋的方式与发热器件进行交换。喷淋的优势点,集成度很高,散热效率很高。喷淋式与浸没式相比有更优秀的特点,可以实现精准的喷淋,比如我们只要求某个地方的散热效率达到很高,可以精确到某一个点对它进行喷淋。在液体的节省上以及散热效率上有很大的突破,这个是喷淋的优势。

说完三种液冷类型,就说说液冷的关键技术。冷板式关键技术一般会提到液冷的系统防泄露技术,包括液柜端的漏水检测控制,CDU端的漏水检测控制,还有室内主要管道的漏水检测控制。液冷的系统冗余设置,避免服务器或者一些其它发热设备在液冷使用过程中发生故障,另外我们经常设计一些冗余,包括CDU的冗余,室外机组的冗余还有管道的冗余。对冷却液体端的监控技术,我们需要监控的液体,以避免腐蚀、微生物生长、结垢等。

浸没式,首先考虑的是液体本身,一般而言要求液体是不燃不爆、低毒、低腐蚀性,要对环境友好,不能对环境造成大的危害。浸没式的可靠设计,包括管路的可靠性和冷却液本身的兼容性,以及主要配件的冗余还有自带的监控系统以及定期的检测和测试工作。还有精准的制冷流场优化设计,包括分配液的均匀设计,以及管道内均匀液设计,和高效低热阻散热通道设计。IT设备的定制化,浸没式液冷本身对IT设备的改造要求稍微高一点,对IT设备进行定制化,针对高温高功率密度设备的定制或者设备结构也可以采取定制化的模式。

喷淋式液冷关键技术,芯片级的精准喷淋式液冷技术,对发热器件精准到某一个点上的喷淋,这个是喷淋中比较优秀的技术。喷淋式液冷机柜一般而言有重力式、压力式两种模式。喷淋式也需要对服务器发热器件进行改造,我们可以在原有服务其上增设喷淋模块或者专门设计喷淋的服务器。以及冷却液的选择,涉及到与服务器的CPU、PGU、FPGA的兼容性。

制约液冷发展大的阻力之一是要考虑液冷在数据中心的适配环节。首先是人员的问题,人员在操作液冷系统的时候,要对液冷系统有很高的了解,需要进行人员培训。无论液体本身还是整个系统要达到安全高效,不能对人员的身体产生危害,我们要求人员在维护液冷系统的时候要穿戴一些专用设备。管路材料的选取,因为液冷本身要靠液体进行传输,所以对管路的要求很高,不仅仅包括管路本身的材料,也包括接头、快速连接等,这个是管路环节需要重点考虑的部分。还有设备的移动和清理,液冷不能像传统的风冷直接对它进行拆卸或者维护,比如浸没式需要借助吊机把发热器件从上面提拉出来,或者说带有液体的运维车及时对系统进行补充或者清理。还有助排液子系统,无论是机柜冷却液的充注排放,还是冷却液本身的排放,都需要助排液子系统。另外硬盘的兼容性问题,一般而言我们会认为电子固态硬盘或者氦气硬盘的兼容性好一些,普通的固态硬盘不能直接与大部分的冷却液相接触,需要进行隔离或者改造。对液体的监控,不仅包括液体的电器和化学稳定性的监控,还有与液体相接触的IT设备、动力设备、IDC能耗以及环境的状态都是需要监控的。

白皮书里面一个很精彩的部分就是典型的液冷应用案例。这里不详细给大家介绍,只每个技术模式选取了几个应用案例。首先是冷板式,北京一个水冷超算中心的改造,因为提供整个学校的服务对计算效率的要求很高,在常温直接水冷技术,解决了CPU和内存散热问题,最后可以达到年平均PUE1.1,基本只有传统的数据中心PUE值的一半。还有国外的冷板案例,德国的莱布尼茨计算中心,这个在业界的高性能计算领域也非常有名,也是标杆案例。

浸没式的案例,某云渲染数据中心,影视相关的渲染业务对计算量的要求非常非常大。直接对它进行液冷的部署,不再需要对它进行空调或者末端空调的风冷部署。节能改造后效果的分析,这里提供了一些数据,重点说一下投资回报,改造的IT设备的容量为240千瓦,改造费用360万,在机房满载用电1块钱的时候,相比从前的风冷机房,每年可以节约的费用是231万,一年半就收回来。这个也是大家关注液冷的原因,投资回报非常高。

融媒技术有限公司的应用案例,因为是一个传媒公司,本身媒体资源很大,这个案例也受到很多媒体的争相报道。浸没式在白皮书中也有其它案例,如GRC在日本的某大学超算中心案例,白皮书中也有介绍。在军队中的案例,采用微型液冷数据中心解决方案—浸没式的方案,克服了在军舰上低矮狭小的空间部署困难问题,也说明液冷其实可以在模块化数据中心部署。

喷淋式案例,喷淋式上海大数据试验场,对计算要求非常高,改造之后可减少空气中的粉尘对器件的伤害,不仅承担了冷却功能,也可以作为一种对服务器进行清洁或整理的工具。

超级图形处理数据中心,也说明影视行业慢慢开始普及液冷部署。采取精准液冷喷淋方案,可以让冷却液直接与器件表面换热,这是得到的效果还有部署模式。

给大家介绍一下ODCC液冷测试,目前我们已经跟广东合一合作,他们这次也拿到了优秀产品奖。ODCC目前对液冷的测试主要关注性能、老化和稳定性三方面,也是想看看市场上一些液冷产品已经做到哪种技术程度。今年ODCC在本次峰会上一共发布了五项成果,除了白皮书外,还包括液冷的系统测试规范、冷板式喷淋式浸没式各一份技术要求,以及已经发布的液冷总体技术要求。后续在液冷其它深入的领域,我们会继续做更多的研究工作,希望大家一直关注ODCC的冰河项目,争取给大家带来更多闪亮的成果。

另外,感谢以上企业对冰河项目的支持。

谢谢大家!

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-10-19 09:52:02
国内资讯 2018开放数据中心峰会盛大开幕:二十二项成果精彩亮相 技术创新推动产业升级
10月16-17日,由开放数据中心标准推进委员会(ODCC)主办,百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院和英特尔承办的“2018开放数据中心峰会”在北京 <详情>
2018-10-19 09:33:37
国内资讯 现场直播|3M数据中心首席专家蓝滨:3M浸没冷却技术回顾与展望
浸没冷却就是将计算机的器件浸没到绝缘的液体中,通过液体的相变或运动作用将热量带走。第二,它主要的优点是有很高的制冷效率,所以可以把系统设计得更加紧密,同时起到节 <详情>
2018-10-19 09:26:32
国内资讯 现场直播|GRC绿色革命冷却大中华区总负责人李艾德华:浸没式冷却技术的全球性发展
其实中国很多的数据中心制冷还运行在PUE2.2以上。原因是,我们还是用在50年前的技术。而现在浸没式液冷在市场上以运行有十年的时间了。它的PUE值能达到近1的水平。 <详情>
2018-10-18 09:58:18
国内资讯 现场直播|中国电信云计算研究员吴林泽:基于SDN/NFV的DC网络关键技术研究与实践
驱动层所提供的SDN、VNF的协同可以提供更好的方案,可以使我们极大的利用产业竞争带来红利。整个产品极大的提升了中国电信的运维效率和业务开通速率,以及节省成本。 <详情>