10月16日,2018年开放数据峰会(Open Data Center Summit 2018)于上午在北京国际会议中心开幕。作为数据中心行业的一大盛事,ODCC每年都将汇聚数千名数据中心专家与几十名主流媒体。本届峰会时间为16日-17日,ODCC将发布最新研究成果,碰撞尖端热点技术,分享国际技术进展,展示主流产品应用。

5

在开幕式上,来自3M数据中心首席专家蓝滨进行精彩演讲。以下为演讲实录:

很高兴今天出席ODCC的现场,我是来自3M公司的蓝滨,3M不是一个传统的IT公司,大家一定很奇怪为什么我站在这个现场,这两天北京的雾霾比较严重,这时候大家会怀念3M另外一个非常著名的产品——口罩。对于我们来说,除了口罩外,3M还有多种产品,在数据中心应用方面,我们的浸没冷却液体也是一项非常核心的明星产品,今天我代表3M公司给大家介绍一下3M在浸没冷却技术推广方面的回顾及展望。

提到浸没冷却,上午有多位嘉宾已经提到,未来的芯片会越来越热,液冷可能是未来冷却上不得不走的一条道路,而浸冷作为液冷中非常重要的一个分支也得到业界很多的关注。液冷到底是不是一项很新的技术呢?液冷并不是很新的技术,只可以说是一个又新又老的技术。新老到什么程度,这边有两个非常著名的案例,一个是1985年,当时世界著名的超级计算机公司设计它的第二代Cray-2机器的时候,因为芯片发热量过大,没有办法用传统的风冷方式解决,所以他们设计了这种喷淋循环式的液冷系统,使用的就是3M的碳氟液体,这个系统当时是世界上最快的超级计算机,现在已经已经作为镇馆之宝被储存到加州硅谷的计算机历史博物馆中。另外一边是最新的浸没冷却案例,从2014-2018年在代表世界计算机高技术的超算领域,Top500和Green500的舞台上扮演非常重要的地位。由同一家公司开发的多台系统,包括Suiren、Shoubu、Sakura等,连续占领了能效排行榜Green500的第一名,这除了他们自己在芯片等方面的改进外,使用先进的浸没冷却方式也是它能达到如此高能效比的一个非常重要的突破。

那么什么是浸没冷却技术,现在通过一个短片让大家有一个基本的了解。

通过短片大家可以了解浸没冷却最主要的几个要素,第一,浸没冷却就是将计算机的器件浸没到绝缘的液体中,通过液体的相变或运动作用将热量带走。第二,它主要的优点是有很高的制冷效率,所以可以把系统设计得更加紧密,同时起到节省能源的作用。为什么在最近几年这种浸没冷却或者说液冷技术得到业界更多的关注,我们认为有这样几个驱动力。首先是像上午很多嘉宾所提到的,芯片的设计功率会越来越高。因为社会对数据的需求要求不断增高,而半导体、芯片的发展速度达不到相应的步调,所以我们就需要设计更大更强因而发热量更大的芯片。另外随着AI、边缘计算等应用的推广,也更多引用了像GPU、FPGA以及ASIC等浮点运算芯片,这类芯片更适用于密集布置的场景。还有硬件技术的发展,使我们有能力制造尺寸更小密度更高的硬件结构。在这些动力的驱动下,风冷越来越达到极限,使人们不得不考虑比风更有效率的液冷方案。一个例子是谷歌的TPU,之前依然使用风冷方案,而在最近一代也不得不采用液冷的解决方式。

谈到液冷不得不提出其中使用的液体,可以选择的液体大概有几类,首先是水和以水为基础材料的水基溶剂,这是大家遇到最普通、最常见的液体。在很长一段时间,液冷就是水冷的代名词。水冷有很好的传热能力,这取决于水本身是非常好的传热介质。同时设计成冷板形式的水冷和现有服务器系统也基本上兼容,可以很快采用。有什么样的风险呢?水或者是水的溶剂本身是一种低绝缘甚至没有绝缘性的液体,即使它本身通过去除离子等物质达到很高的绝缘的能力,一旦进入其他的杂质,比如溶解灰尘就会破坏其绝缘效果。数据中心进水,会带来很大的使用风险。而在水冷板系统里,我们不得不把水引进到机柜甚至服务器内,如何保证这样一些系统的稳定性和可靠性,是业界开发面临的非常头疼的问题。大家听说过很多直接浸没的模式,但从来没有人听说用水来实现浸没的方式。

除水外还有很多不同的绝缘性液体,可以用于浸没冷却的液体有很多共同特征,本身需要具有很高的绝缘性,同时在存在其他杂质,在一定的影响范围内不会产生短路导电现象。这样的液体比如常见的像油类物质,也就是高沸点的有机液体物质,像矿物油、硅油等,这些物质比较常见,价格相对也是比较低的。而且因为这些物质中很多是自然界本来存在的,对环境友好性也比较高。但这类液体基本都是易燃或最少是可燃的,请注意屏幕上的演示,即使闪点非常高的硅油类液体,一旦接触到明火还是可以燃烧。如果再继续把硅油喷到火上后还有助燃的效果。这时使用另外一个液体,可以很快把火灭掉,这个液体先卖一个关子。除了可燃性这个风险,如果引到数据中心可能会增加系统对安全性的担忧外,同时选择沸点或者燃点比较高的油类情况下,液体的黏度也相应比较高,后续使用上会有清理残留等维护问题。

刚才看到的可以灭火的液体就是碳氟液体,当碳和氟形成相应的共价键后,这个键能是非常稳定的,可以带来很多非常独特的效果,比如一般的碳氟化合物都有很高的绝缘性,很低的黏度,同时有不燃的效果,而且在很大的范围内能够保证它的化学惰性和稳定的性质。这就意味着它是一个非常理想的用于浸没冷却的介质。当然碳氟物质也有一些缺点,比如因为原料和制造工艺的原因成本可能较高,因此需要对液体的泄漏流失有很好的控制。但我们仍然坚信在未来碳氟化合物是浸没冷却中最有可能的液体介质。

我们的碳氟化合物有很多不同的冷却应用方法,比如也可以像水一样,通过冷板中循环进行热量传输,在这边也有很多相应的案例。在这样的使用过程中,因为碳氟液体天生的导热性能较水低很多,因此需要带来很多相应的牺牲和补偿,比如你需要增加循环管径、增加流速,增加热交换面积,相应带来成本的提高。因此除非一些特殊场合,比如在核心机房不允许水进入,才可能会做一些牺牲采用这类碳氟液体。我们认为更加适合碳氟液体的使用方式是直接浸没式,包括单相式和两相式两种方式,一种是通过液体的比热和对流来吸收热量,再通过泵的外加强制动力将氟碳液体循环到换热器件,达到降温的效果后再输送回来,和油类浸没的方式类似。而另外一个是碳氟化合物独特的特点,因为它本身无论沸点高低都不燃,即使采用低沸点的液体,液体也没有闪点,也没有燃烧性,通过本身液体的相变循环,达到高效吸热的目的。下面是这两种方式相应的使用形式。这两类系统现在都在全球各地有相应的开发应用。单相的系统使用的是高沸点的液体,对泄漏和污染物控制都相对容易,更适合使用于现有计算机硬件的功率密度。但是因为它还是采取单相方式,需要通过比热来吸热,所以还需要额外的动力循环,传热能力比相变式的有所限制。而对相变传热的超高效率,如果大家平时在打针时,擦一下酒精会感到突然一凉,这是在相变过程中突然吸热的表现。如果我们可以把系统的器件设计得更加紧密,极大可能应用这种相变液体的传热能力,即使在设计制造门槛较高,需要更多的工程量下,也会带来更好的传热效果和经济效率。

对于3M来讲,我们有自己的碳氟化合物液体的产品平台。通过这个产品应用开发,我们也不断在掌握对于浸没冷却非常关键的技术点,比如我们验证了极限传热能力,仅使用1升液体就达到对4kw发热块的稳定传热平衡状态。如果我们未来的硬件,比如刚才Vicor介绍的他们高密度的电源模块,都采取这样的高密度的设计方式,可以极大可能发挥这个液体的传热能力。另外物质兼容性是碳氟化合物比较传统的优点,它本身的化学惰性使它很难和其他的有机物等等物质发生反应。当服务器进入到浸没环境中,是不是会受到液体的影响,这也是我们一直在分析归纳的一个重要的话题。我们同时进行了很多信号完整性的测试,来保证对于现有的信号传输的速率甚至是未来400G等这样的信号传输,我们都有相应的产品配合使用。同时因为浸没冷却的使用形式和传统的机柜肯定有很大的不同,我们也在开发相应结构设计的指南,希望从机理上验证我们使用哪些材料、使用哪些技术,能够更好发挥浸没冷却的优势。

使用3M的氟化液进行浸没冷却,除了刚才提到的能效、密度优点外,还有很多其他的增益。比如说我们可以采用低沸点液体通过相变的方式提供效率,可以通过去除精密空调风扇等风冷器件来节省相应成本,而且在这样的浸冷数据中心中的噪音也是很低的。同时因为3M在材料领域多年的研究开发,我们对氟碳化合物有非常深刻的理解,可以通过我们自己的非常完善的毒理数据和职业健康指导经验,指导如何健康、安全使用氟碳液体。还有像刚才阿里提到的,如果在浸没环境中,服务器器件和外界环境完全分离开,那样会减少很多的可靠性隐患,比如水,灰尘、腐蚀物等等。比如在左边小视频中,带电的设备浸没工作在比重大于水的氟化液中,上面漂浮的水层既不会影响下面的设备,自己还能养养鱼。

如何尽可能发挥浸没冷却的优势,现在大家关注很大的一个点是材料的成本,当系统功率密度提高,来说单位功率使用液体的量会相应减少,由省电带来的能源的节约会带来更大的经济收益。3M也和数据中心的设计机构规划了一个非常理想的数据中心的样本,采用的是市场现有的高密度服务器,比如GPU的服务器。与之相对比的是一个已经运行的同样30MV IT功率的数据中心。从结果看,无论从占地面积,初期建设成本投入,以及后期的运维中水电的消耗上,浸没的案例都有很大的优势。当然这是一个非常理想,也是我们梦寐以求的案例,在现实中根据应用的需求还有很多的限制。对于3M,一个液体的供应商,我们很难把这个技术完全贴合业界的需求,做到尽善尽美。加入ODCC,我们希望通过这个平台,有更多的有识之士加入到浸没冷却的开发过程中来,把我们这样一个技术概念从实验室真正落地,成为一个大家可以接受的成熟的方案。

我们的目标,将来有一个真正和现有的完全不同的数据中心,那里面不是一排一排机柜,而是一排一排浸没缸,通过这样能够达到更好的节能和提升效率的愿景。我的演讲内容就是这些,谢谢大家!

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-12-13 10:45:00
国内资讯 IDCC2018|3M中国数据中心资深技术专家李堃:数据中心浸没液冷技术回顾和展望
12月13日上午,IDCC2018分论坛,数据中心技术创新论坛正式召开!本次论坛邀请了行业内知名大咖和技术专家为大家带来当今数据中心技术创新内容的分享。会上,3M中国数据中心 <详情>
2018-10-19 09:52:02
国内资讯 2018开放数据中心峰会盛大开幕:二十二项成果精彩亮相 技术创新推动产业升级
10月16-17日,由开放数据中心标准推进委员会(ODCC)主办,百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院和英特尔承办的“2018开放数据中心峰会”在北京 <详情>
2018-10-19 09:26:32
国内资讯 现场直播|GRC绿色革命冷却大中华区总负责人李艾德华:浸没式冷却技术的全球性发展
其实中国很多的数据中心制冷还运行在PUE2.2以上。原因是,我们还是用在50年前的技术。而现在浸没式液冷在市场上以运行有十年的时间了。它的PUE值能达到近1的水平。 <详情>
2018-10-18 09:58:18
国内资讯 现场直播|中国电信云计算研究员吴林泽:基于SDN/NFV的DC网络关键技术研究与实践
驱动层所提供的SDN、VNF的协同可以提供更好的方案,可以使我们极大的利用产业竞争带来红利。整个产品极大的提升了中国电信的运维效率和业务开通速率,以及节省成本。 <详情>