9月27日，由开放数据中心委员会主办，百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院、英特尔承办的“2016ODCC开放数据中心峰会”在京隆重召开。在下午的服务器分会场上，同方计算机有限公司高性能事业部研发总监唐斌发表了题为“模块化-服务器的发展之路”的演讲。以下是演讲全文：

同方计算机有限公司高性能事业部研发总监 唐斌

我是同方计算机高性能事业部的研发总监唐斌，今天我给大家带来的演讲主题是“模块化横服务器未来发展之路”。希望通过这样一个主题，更多的分享同方计算机在模块化设计中的产品特点、优势和理念。提出模块化服务器之前，首先不得不回顾一下天蝎，以及天蝎和模块化之间的关系。

本人非常有幸在六七年前参与到天蝎的上一代，在百度内部称之为北极方案的起草、研究，还有研发设计。从V0.1的版本，到0.2，0.3，0.4，直到1.0，再到最后的天蝎。在一轮又一轮的开发迭代过程中，我越来越深刻的理解到集中供电，集中散热，集中管理这三个集中是我们这个天蝎的核心精髓所在。那么，模块化实际上是造就了这三个集中的根本方式和硬件实现的手段。

怎么说呢？集中供电，我们把原本分离在每个服务器内部“1+1”的冗余电源抽离出来形成一个集中供电的模块，有了这个模块，硬件采购成本大幅下降，我们的转化效率能够提升，同时后期的维护也会变得非常方便。

第二，集中散热同样的道理，原本分散在每个服务器内部的、独立的风扇是一个元器件，我们把它抽离出来构成一个风扇墙，每个风扇模块可以支持热插拔，采购成本降低的同时功耗也提高了。

集中管理，我们用RNC这个集中管理的模块，使得管理者从原本的对每一刀，每一台服务器的管理上升到对整个机柜的管理，管理的单元提高了，管理的数量减少了，维护的工作量变少了。当然，还有节点，无论计算节点，还是存储节点，做成类似于刀片这种模块化的设计，因此根据我们的需要，存储型还是计算型灵活的选配刀片的服务，这一切都归功于模块化，所以模块化功不可没。

既然模块化这么好，像一体机、刀片服务器，在IT产品里面的核心交换机和路由器，以及高端的磁盘阵列实际上都是大量的采用模块化的思想和理念。于是，我们在想为什么不可以把这么好的东西运用到通用的1U，2U机架式的产品服务器里去，因此在随后的两三年时间里面我们苦练内功，闭门修关，非常成功的开发出一系列以模块化为主要特点的服务器和存储产品。

可能这张模块化产品的全家福会给大家看上去比较零乱，太多了，分不清。下面我逐一给大家介绍一下这些产品如何实现模块化，在哪些地方体现了模块的优势和特点。

首先，高密度的刀片式的产品。1U3节点，2U6节点，3U12节点，有点像单机版小天蝎的产品，我们把计算节点做到前维护可插拔的方式，我们的客户可以根据自己的需要灵活的选择，比如低功耗的Xenon D，或者E3v3/v4。我们后面采取集中供电和集中散热的方式，这是高密度的刀片式产品。如果大家觉得这个产品的PCIe扩展性不是很好，或者觉得磁盘的数量不够多。

我们还有第二类的大家熟知的双子星和四子星的选择方案，这个产品里面同样也把模块化的产品凸显出来。传统的产品主板和硬盘之间通过背板和SAS线缆进行传输，我们非常独到的采用了主板和侧板，通过侧板的连接平接到线缆灵活的实现不同规格的传输。所以，当我们需要实现不同规格的时候，我们大家只需要灵活的更换中间的这块侧板就可以了，这是双子星和四子星的产品。

如果大家觉得这类产品的密度太高，在2U里面塞了4个，可能大家更习惯使用单节点，我们同样给大家这样的选择。模块化服务器和机架式的。先看看它的图片，1U。这里有一个小小的扳手，是可以把这个模块抽出来的，2U8，2U12。经典的出来了，2U16。正是因为有了模块化，我们可以在我们的服务器内部外面多放四个热插拔的硬盘。所以，我们是2U16，不是2U12，内置硬盘另当别论，同样可以适用。这是主板外挂，传统的T型服务器，或者L型服务器也好，实现的方式是把主板放在机箱内部，当我们需要维护这个纸板的时候需要打开上盖，需要增加内存，更换CPU，或者扩充PCI塔等等的时候都需要打开上盖。今天有了这个模块化的设计，只需要像维护硬盘这样简单，把它看成一个抽拔键拔出来就OK了，这是我们的模块化产品。如果之前3路这样的服务器产品，大家觉得我是一个存储型的用户，我希望更多的硬盘，我用不了这么强的处理器，你有存储产品可以选择吗？应有尽有。

第一类模块化的存储产品。其实这个产品跟刚才我介绍的模块化产品异曲同工。只不过它的机箱变得更小巧，可以放到600毫米的配电柜里面就可以使用。另外，存储的密度更高，有3U16，3U24，4U24，以及4U36。这是存储产品。

如果大家觉得存储产品的密度一般般，4U36别人家也能做到，你们家有没有高密度的存储？OK，没有问题，模块化的高密度存储马上出场。1U12个3.5寸大盘，2U24个，4U60个。这个产品里面的亮点是我们把12个硬盘做成一层抽屉，60个硬盘是5层抽屉的方式实现，在这个产品的实现中，我们也同样抛弃了每个硬盘对应一根线缆，60个硬盘对应60根线缆，所以在我们的设计方案中几乎看不到什么线，因此散热的问题，因此可维护性的问题非常好的解决了。这是我们的高密度存储产品。

可能有的朋友最后还会挑战我，你讲的这么多，无非就是存储服务器适合于冷数据的也好，适合于分布式存储的也好。你们家有没有双控磁盘阵列，双组双模，这类的产品我们同样具有，2U12，2U24，3U16，4U24。可以说双控存储是把模块化的设计发挥到了极致，无论是我的主控A和B，还是风扇，还是电源，来自于我的主机接口可以根据主要需要选择，可以选择后端磁盘接口是8GB的解决方案，或者12G的解决方案都是采用模块化的设计，这就是我们的双控磁盘阵列模块化登峰造极之作。

讲到这里，基本上我们把我们同方模块化服务器的六个产品系列都介绍了一下。归结起来模块化是我们产品优势的核心，正是因为有了模块化，所以造就了我们的高密度。正是有了模块化，才得以实现我们的无线缆，热插拔，以至于后期的可维护，易维护。模块化好是好，但是，我们在模块化的设计中确实也遭遇了不少的挑战和难点。那么，今天在这里我想跟大家分享一下在模块化设计中我们遇到的两个案例。

首先，散热的挑战。大家知道传统的产品服务器我们每一刀服务器，每台服务器都有自己独立的风扇来散热。但是既然采用模块化，把风扇做成一组风扇墙的方式采用集中散热，势必带来散热的挑战，风扇距离更希望远，风道更加不顺，风扇位于机箱的后部所带来噪声的挑战更大，如何在平衡噪音的同时很好的解决散热的问题呢？很大的一个挑战。

怎么办？我觉得手段非常多，但是前期有一个非常关键的技术和手段叫热仿真的东西，我觉得是蛮重要的。同方在研发之初会结合机构电路硬件设计，还有我们的器件可选型工程师在一起对热仿真进行一轮又一轮的迭代，通过在电路板上合理的分配热器件，在背板上合理的增加开孔，因为开孔多会影响组线。通过合理的优化风道，然后在不影响EMI的前提下适当的增加机箱的开孔率，训练合适的风扇，以及合适的散热器，最终达到降低噪声的同时，解决我们的散热问题。

下面有一个小小的实例可以快速的过一下，增加一下大家感性的认识。这是一个3U12刀集中散热，集中供电，集中管理的刀片的外观。主板的布局图，主板上热器件的布局，以及每个器件功率的TPP值的预估，基于这些值我们进行的相关图的仿真。这是对每一刀的仿真的情况。最后，有一个能不能通得过的一个结论。当然，这是一个通过的结论，前期一定经过很多需要整改的手段。这是第一个。

第二个挑战，信号完整性的挑战。实际上线缆是一个好东西，传统T型服务器，L型服务器，主板放在机箱里面，软连线的连接使我们走线距离最短，并且高速信号在线缆上传输，今天要实现模块化，抛弃到线缆，要热插拔，要用无线缆的方式，这时候我的信号只能透过连接器来传输，实际上这个时候我的信号完整性的挑战就非常大。

那如何解决这样的问题呢？我们充分的利用了SI信号完整性分析这个工具，通过信号完整性的分析找到高速信号的传输过程中哪里是瓶颈，应该如何突破，应该如何改善。比如，在不增加成本的前提下，我们可以合理在PCB上布局一些器件，我们可以规避长距离走线的串扰问题等，当然这是在不等等成本的前提下。当我们的信号完整性作用不大的情况下，我们还有其他的一些手段，比如高速板材，混压的方式，比如我们选择更高速的连接器等等。最终达到一个我们的信号要完整的不是真的在接收端被接收到。我们严格于规范的要求，我们做到10的负15次方的码率。

这里我也简单的分享一下这样一个案例。这个产品实际上就是一个无线缆的设计，不同于常规的T型服务器的产品，这里透过一组高速的连接器，实现跟背板之间的热插拔。仿真做的时候首先要对主板的结构进行分析，12层板，14层板是什么板材，什么叠层结构，把主板到背板之间整个链路的拓扑图，背板到硬盘之间的拓扑图进行相关分析，基于前面的分析完整的建立一套12级链路仿真模型。仿真模型的准确度非常重要，然后我们通过这样的一些指标，从中找到比如存储芯片，找到耦合电容的影响，找到我们连接器的影响，这都是我们的一些方式和方法，从而找到规避手段和解决方法。当然，CPIe的链矢也是这样做的，这个重复了，我们快速的过一下。

所以，讲到这里，今天因为时间的关系没有办法跟大家分享更多的。实际上在模块化设计中遇到的挑战非常多，比如用模块化设计，这些主板模块，风扇模块都需要热插拔，所以带来的EMI的问题，EMS的问题，电池电容性的问题会非常突出，机构方面如何解决，这是一个挑战。比如为了实现集中供电，几百安培的电流传输到每一刀的刀片里面去，原本可以通过线缆来传输就可以了，这些电流只能通过PCB传输，PCB怎么解决这几百安培电流的传输问题，这又是一个挑战。所以，有兴趣的朋友会后还可以一起交流。

最后，今天讲到一个内容就是关于BBS，前面几个朋友都有提到关于锂电池。因为天蝎2.5跟直线的天蝎版本对比大的一个改进的地方是增加了BBS，就是电池备份单元，也就是整机柜掉链的时候可以通过BBS给整机柜继续供电。我们非常骄傲和自豪的是我们投放的产品，其实在两年前我们发布的所有的双路服务器的产品里面，包括我们的存储产品里面都已经标配有电池的解决方案。我们称之为DBU，它的逻辑其实跟BBS异曲同工。当然我们实现的方式不可能说是照着BBS去做，因为我们两年前就去实现这个方案了。那么，大体的我后来看了一下这个BBS，基本上我们觉得非常的巧合，异曲同工。首先，甬道的电芯都是18650的锂电池电芯，大家可以根据自己的需要，掉链以后保持6分钟，还是保持12分钟可以选择不同的电芯。

第二，我的逻辑也很简单，正常的情况下通过4路交流电220V供电，内置有一个电源，会侦测到这个电路掉电之后监测的信息，这样可以快速切换到利用BBU供电。那么，切换到电池供电以后，电池再给整机供电6-10分钟以上，这就是BBU的设计理念。为了解决BBU设计过程中比如说电池的问题，我们除了跟电信厂一起合作，做到了三次的保护，包括过流，过压，过温等各方面的保护工作，使得电池在机箱里面使用的时候是非常安全的。

那么，有朋友可能说，我看到有一些服务器的电源里面，就是内置标配有类似于BBU的东西，这样的电源也见到过。但是，独立式可选的方案比我们这个优势更大一些。比如选择带BBU的电源模块，首先电源模块不能是标准的CRPS，首先是异型的，一定要有电源本身的空间。所以，对于设计来说没有办法做到标准化，成本上也一定会有影响。

采用我们这样的一个电池以后，你想用的时候可以选配，不用的时候可以不用，而且整个电池BBU的成本在整个服务器中几乎可以忽略不计，很便宜的。电池最怕充放电过程中的热量，不能过热，实际上我们把BBU放在电源模块里面，电源本身就是一个发热体，所以带来BBU的散热不良，我个人认为这也是一个安全隐患。因为我们采用并联方式，不可避免带来并联放电的不均衡性，所以我们监测到电压，必须控制在50毫伏以内，当超过50毫伏我们认为这个电压已经偏移了，不均衡了，我们会截止放电，以解决不均衡导致的问题。

所以，电池的设计过程中我们同方也是有这样好的理念和思想跟大家一起分享，今天因为时间关系，我们讲到这里，最后，我想用一句话结束今天的演讲，那就是模块化-服务器未来发展之路，清华同方致力于成为模块化服务器的领导者，谢谢大家！