9月27日，由开放数据中心委员会主办，百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院、英特尔承办的“2016ODCC开放数据中心峰会”在京隆重召开。在下午的服务器分会场上，腾讯服务器工作组长曹浔峰发表了题为“天蝎3.0 整机柜服务器设计方案与实践”的演讲。以下是演讲全文：

腾讯服务器工作组长 曹浔峰

大家下午好！我叫曹浔峰，来自腾讯。本来这个章节是由天蝎3.0项目组的组长跟大家分享，正好出差了，我是他的同事，我代表他来分享。

刚才我看到唐总实际上已经基本上把模块化的这样一个理念理解的非常非常深入了。刚才主持人也说了一个预言，可能这个道理是有因才有果。我们讲天蝎3.0目前状态和未来规划之前，再回顾一下为什么要搞天蝎3.0，腾讯是天蝎1.0，2.0，跟百度、家军等一起做的这个项目，做到今天，回顾过来说3.0才是我们现在腾讯面临的大的挑战。

为什么要做呢？总结下来有这么几个原因。第一，先看一下现在的服务器交付，就是现在3.0还没有安全落地，还是以标准的1U，2U服务器这种形态的。对于腾讯来讲，我们有数百个业务模块，经过十几年的的运营沉淀，通过差不多20个套餐，但是去年开始腾讯云的规模呈现快速的爆发式增长，如果按照套餐这种模式去做，可能有超过500接近1000个套餐，这种套餐的模型在交付运营方面是没有办法完成的，这个压力是非常大的。

第二，云的业务面临的客户的多种多样，很多业务对设备的可靠性，或者说可维护性要求非常，虽然是云业务，甚至一些海量业务。所以，要把监控、运营的手段深入到每个部件里。不但对监控有要求，而且要提前预警，同时设备交付给业务以后，可能业务经常有一些变革。所以，现在标准的机型或者套餐的盲时已经没有办法满足，这是一个很担的挑战。第二个挑战来自于成本，腾讯从2007、2008年跟我们的供应商做替代标准或者专业存储的折算一些存储服务器，2U12，2U13解决成本问题。但是，到今天我们看到用一个主办或者一个节点拖十几个这种方式已经不能满足大规模的冷数据存储的要求。而且很多业务是很复杂的，用户需求也是不断变更的。如果用简单的套餐模型，或者说现在的这种架构实际上是没有办法满足的，层本上要求非常高。

所以，基于这两个理念，我们觉得池化要求非常高，我们把电、热、管理池化了，这些池化对业务成本的缩减和对弹性的交付也是没有办法完全的满足。所以，基于这几个考虑，3.0从计算、存储、传输这样的三个大的业务最敏感的需求来做池化才是真正的现在解决腾讯根本问题的一个解决方法。刚才说了整个大的方向。

从业务的方向来看，业务种类非常多，有邮件业务，有即时通讯的业务，有一些高性能计算的业务，像这些业务对整个纵向的技术维度来讲，它的需求和迭代的变化有什么不一样？如果说单纯的简单来说，用标准设备来解决，或者不作为池化或者云化的方式解决，可能涉及到改造的成本，或者弹性的这样一些成本，实际上是非常非常大的。

举个简单的例子，我们原来的设备都是千兆的网卡，如果哪一天需要万兆的网卡，就要把这个设备换掉，如果不换插一块网卡是不是能解决呢？其实我们还有一些管控的功能。所以，整个从单向这样的技术维度来讲，我们希望能够把计算、存储、传输业务感知的模块能够剥离出来。1.0、2.0已经把供电、散热剥离出来，3.0就是要把计算、存储、传输这三个模块剥离出来。

为什么要做天蝎3.0，天蝎3.0到底怎么做呢？上一次峰会上家军组长已经跟大家大致讲了这个概念，今天我们看一下。实际上天蝎3.0就是把模块化做的更深入一些。总体来讲把天蝎3.0分两个部分，机柜内部通过SAS交换，PCIe的交换解决机柜内的数据和信号传输的问题。机柜外部，在数据中心外部，机柜和机柜节点之间，通过10G，25G，或者50G，100G做第二阶段，这样通过这两层自由的组合，如果是冷数据，可能用SAS做一级，把大量的SATAs组合起来，如果对于温热的数据链也可以通过SAS，对于热数据，可能做一个迁移。整体的理念首先是模块化，只不过比原来的1.0、2.0的基础架构的模块更加深入一层，计算存储这一块，传输这一块。下面基于我们的几种理念，目前BAT，或者天蝎，ODCC内部的几个成员单位的一些目前的状态和未来的规划做一个分享。首先，基于SAS交换的冷数据的资源池化。我们通过SAS交换机目前可以级联17个存储结构，这样可以非常灵活根据应用的需要，可以说可以像原来那样接12个盘，还是接几十个盘，甚至几百个盘，根据业务的要求可以做一些灵活配置。目前来看腾讯在这一块有一个比较明确的规划，是今年的年底前可能就会上线去部署这样的一个设备在实际的业务环境当中，现在在实验室已经把产品化的准备工作做的七七八八，后面还有一些收尾和交接的工作。

这样的工作给我们带来的收益是什么？我们看到这种方式可以带来在存储上面单位GB成本30%到60%的下降，这种下降是通过其他的一些方式单个的去提升或者变更一些关键部件带来不了的。

第二，基于SAS，可以把SAS盘，SATA盘互联起来，通过业务层的调度可以灵活的把数据动态的放到整个SATA上来，包括SSD上，这个也是目前来看可以实现的一种方案。以家军为主的百度这边，这块已经有一些样机开发和应用场景了。

再下面一种就是比较灵活或者高效的热数据的解决方案。我们通过PCIe的交换，可以把现在JBOD、GPU这样一些对带宽，延时要求比较高的一些部件组合起来，对外提供一些高性能计算和存储服务。这个也是腾讯目前为一个供应商合作研发的一个产品，今年年底我们可能也会有一些POC的规划，争取明年把它产品化。

这个不多讲了，大家已经耳熟能详了，广告已经做的非常好了，我们可以放到64个通过PCIe的交换，做成64GPU的大盒子或者大的集群盒子，百度已经有几百个节点在部署了。腾讯目前GPU的引用基本上还是在标准的4U或者通过8卡或者多卡的方式连接，这种方式非常好，我们也会在天蝎的3.0，资源池化这一块，通过PCIe这个东西真正做到产品化腾讯的应用来实践，这个可能放在明年。

另外，NVMe，腾讯从去年年初就开始跟英特尔共同推广NVMe这样一个软件标准的SSD产品。但是我们还是用标准设备装四块，或者两块，或者一块提供业务服务，这样一些NVMe的设备给到业务当中从线网的运营情况来看，80%以上的性能实际上都是过剩的，就是浪费的。现在最多四块盘，每四块盘或者四块卡就要配一套主板，而且有80%以上的设备的性能是过剩的，将来造成的浪费是非常大的。作为互联网公司，腾讯每年的采购两都是十几万台，在这个上面成本的消耗或者浪费是非常惊人的。

所以，我们看到这一点，能不能把NVMe和现在的主板做解耦，很多的NVMe应用实际上对CPU的需求不是特别大，有时候特别大的时候CPU成为一个瓶颈，这样解耦开以后，这个东西就灵活了。我们前段时间也做了一个POC在实验室里面，我们看到实际上配一块很小的CPU就可以把NVMe的价值发挥出来。这块后续我们也会跟英特尔合作，看看基于NVMe能不能在PCIe交换这样的框架体系下做的产品化，然后落地。

最后，下一个峰会的前沿，下次可能会跟大家汇报整个的天蝎3.0如何去建立标准这样的一个过程。很多同学线下问我说，你们三家都有自己的想法，到底怎么搞的？我这里跟大家分享一下。实际上我们ODCC这块整个的做标准化思路大概是这样的。首先，各家户去根据自己的需要在一个既定的平台上面验证我们所需要的产品。验证成功以后，我们在内部会小规模的去使用或者灰度上线，不断把使用过程中的一些Bug或者一些问题解决掉，这样起到一个优化的作用。优化完了就是产品化，产品化就是跟厂商，因为毕竟是使用方，具体的产品要落地还是要考场上。这边对齐以后，就是最终的产品化，产品化的过程都是带ODCC内部，这样产品化的过程实际上就是一个标准化体验的过程，体验出来的标准化，这个需求或者标准就能够满足各家基于这个框架下只是简单的做一些配置的内容满足ODCC的需求。

到明年的上半年或者6、7月份的时候我们会真正把优化工作做完，计划用半年时间。然后，下半年Q3、Q4产品化的过程。到最后Q4争取把这个计划几家在ODCC的框架下把这些产品化的东西提炼出来形成标准，在下次峰会的时候再发布给大家。我的内容基本上就是这些。