中国IDC圈12月28日报道,12月20-22日,第十一届中国IDC产业年度大典(IDCC2016)在北京国家会议中心隆重召开。本次大会由中国信息通信研究院、云计算发展与政策论坛、数据中心联盟指导,中国IDC产业年度大典组委会主办,中国IDC圈承办,并受到诸多媒体的大力支持。

中国IDC产业年度大典作为国内云计算和数据中心领域规模大、具影响力的标志性盛会,之前已成功举办过十届,在本届大会无论是规格还是规模都"更上一层楼",引来现场人员爆满,影响力全面覆盖数据中心、互联网、云计算、大数据等多个领域。

会上,中国移动通信有限公司研究院网络技术研究所项目经理 顾戎 出席IDC服务大会并为当天的数据中心设施与运营分论坛做《SDN网络在大规模数据中心的实践》主题演讲。

顾戎-(2)

中国移动通信有限公司研究院网络技术研究所项目经理 顾戎

以下是演讲实录:

我的题目是关于《SDN网络在大规模数据中心的实践》。我是移动研究院的顾戎,主要负责的是中国移动关于SDN数据中心的主网规划和设计。

我这边介绍主要包括三个方面,第一个方面,谈一下中国移动关于未来网络的规划,也就是我们提出的NovoNet这样的概念,关于NovoNet应该是利用了SDN和NFV的技术,是中国移动在未来网络的新的架构,也是一种新的运营模式,同时它还会提供一个新的服务。

第二部分,关于技术方面,NovoNet网络有很多的场景,其中有一个场景就是用在数据中心方面,基于SDN技术中心,我们给它取名叫NovoDC,它应用了一些开源的产品,以及我们结合一些开源的项目做了定制化的研发,有一些自研的产品。

第三部分,关于数据中心未来网络的发展和思考。我们认为我们能做的和大家能做的包括两个方面,第一个方面,关于产业的贡献,刚才大家也讲到,在这个产业里面,目前有很多的标准化的组织,也有很多行业组织,包括像SDN/NFV联盟,包括ODCC开放数据中心的组织,像一些标准化的协会,还有国际上的组织,他们都在做相应的工作。另外,还有一个行业的贡献,做这个应该是整个行业的事情,不仅包括我们运营商这边,也包括一些业界常见的交换机行业,网卡的行业。

第一部分,NovoNet的网络。我们在提NovoNet网络架构之前,还是有两个技术,一个是SDN跟NFV,我对这两个技术做一下介绍,SDN技术,最初我们认为是IP网络基础网络架构的创新,最先被大家认识应该是属于谷歌成熟的商业案例,谷歌利用了SDN的技术,实现了流量的调优。另外一部分是NFV技术,它是认为编辑界主动学习的行业,是将一些成熟的电信网元将它虚拟化,一些虚机来实现电信网元的技术。在这两个技术融合下,我们认为整体的网络,比如说数据中心的网络是有网元和网元之间的连接,我们认为NFV实现的是网元的功能,网元跟网元之间的连接是SDN做的事情,将两者融合,我们觉得未来会构成未来的网络,也就是我们提的NovoNet网络。

在去年的时候,中国移动发布了NovoNet2020的愿景,与此同时,去年撰写了《通信4.0》的书,在里面提到中国移动网络品牌将凝集未来产业的力量,核心思想就是新架构、新运营、新服务。具体的场景,将SDN跟NFV技术运用到移动网络中、传输网络中、数据中心的网络。

关于中国移动NovoNet网络架构,它在数据中心这样场景下的布局,也就是NovoDC,我们可以从时间轴上看出来,从最开始我们认识SDN技术,是因为谷歌利用SDN的技术,提高了广域网连接的利用率。在2012年的时候,中国移动进行了SDN的技术研究。2013年,中国移动在NFV标准化的组织上,成立了运营商级别的SDN工作组,我们在标准化的行业上相应的推,包括SDN数据中心的架构,以及数据中心用到传输网络中的架构。

我们知道一个新技术要验证它是否成熟的话,唯一的方式是通过测试,我们的测试是从2013年开始的时候,也是国内首次开展了多厂家虚拟化的测试。当时,SDN的技术算是比较超前的技术,所以我们当时测试大量了行业内的二十多家,测试范围包括虚拟化的重叠网和虚拟化性能的测试。在测试的基础上,我们看到这样一个技术在未来有可能会成熟,所以我们在2014年的时候,在这个技术的基础上做了自己的自研投入。当时的契机是很多开源组织的出现,我们结合开源组织,也对开源投入了一定人员的研发,相应做了一些自研产品,包括三方面,一方面是数据中心的应用层APP的开发;第二方面,数据中心网络创建控制器的开发,这个控制器是基于AERO代码;第三部分,我们做了相应自研定制化的交换机。

在2014年,更多投入自研的产品,2015年的时候,《NovoNet》白皮书是2015年提出来,我们在国内,首次进行了SDN系统方案的招标测试,在中国移动10086公有云里面引入了SDN技术,我们基于SDN三种场景做了技术方案的分析。到2016年,在2014年自研产品的基础之上,结合2015年商用试点的现状,我们觉得目前SDN数据中心存在一些问题。更多的问题是SDN数据中心并不像大家想象的那样,它结合SDN技术,但没有变得更开放。在转发设备的整体架构中,更多存在运行绑定的方式,所以在2016年的时候,我们更多把精力投入到了怎样把A厂家的控制器跟A厂家转化设备打开的过程,我们提出了端到端解耦的解决方案,这个解决方案依托两点,因为我们自己有了自研的控制器,我们更多知道控制器的核心技术,以及我们控制器技术下有哪些接口,我们将这些接口投入到了标准化的组织,努力将它标准化。

南向接口的打开仍然是很漫长的过程,我们感觉有一些压力,我们觉得这个数据中心未来更多应该是开放性,更多应该是兼容性,我们觉得这个工作应该是比较有意义,而且我们觉得一定会成功的,所以说在2016年之后,我们一定会继续在标准化方面,以及控制器和转发设备的对接方面做更多的工作跟测试。

从2012年开始的研究到2015年成熟的商用,到2016年适度的改变,构建这样的数据中心,我们总结几个方面,第一方面,是技术的研究;第二方面,基于技术研究,需要做一定的测试论证;第三,结合当前的状态,我们利用开源的产品对它进行关注,并加入一定的资源投入,从而生产出来自研产品。在这些产品的基础之上,我们会相应的将自研的产品以及未来的接口做一定的标准化输出。一个东西要成熟落地,肯定是要通过试点商用才能验证这个技术的成熟,所以我们在试点商用方面利用自己的资源做了一些尝试。最后在商用过程发展之后,必然会受到一个反馈,反馈也就是我们当前的技术出现什么问题,自研的产品有什么问题,我们推出接口有什么问题,我们会结合反馈会进一步完善。

基于SDN技术数据中心,这个胶片展示过很多次了,经典的四层架构,也是业界公认的四层架构,从上到下分别是应用层,就是我们常说的APP这层,更多面向用户。在应用层向下是云操作系统层,这有很多的操作系统,比如说Openstack,云操作系统向下我们认为是控制层,包括两类,一类是网络的控制层,也就是控制器,我们投入自研的设备。另外一类我们任务是增值服务网元的控制器,也就是VNFM。控制层管理的是一些转发设备,这些转发设备统称为转发层的设备,这些转发设备包括硬件的交换机、软件交换机、SDN网关、还有一些增值业务网元的设备,另外有一些安全的设备。

正是基于四层的架构,我们希望在智能应用的平台上,无未论是客户还是我们自己内部的业务系统,提供一个虚拟的VPC的业务和业务链的功能。VPC的业务,我们认为是一个多租户的业务,租户可以看到自己一张独立的网,应用网络那边列举两个租户,相互之间是隔离的,他们根据抽象模型,他们有自己的路由器,有自己的交换机,有自己的虚拟机和网络策略。同时,这张网也是可拓展的网,我们可以创建多个租户,租户和租户之间,可以根据更多的需求进行更多的打通。NovoDC实现了VPC/业务链的需求。

我们在2015年提出来三种场景网络的分析,也是结合自己的自身要求,目前存在三种场景,第一种场景是虚拟化的场景,我们承载的业务是一些虚拟机,它们都是装在虚拟化的平台上,在这种网络上推荐虚拟交换机,作为SDN转发设备,这个方案是最为成熟的,一方面它用了虚拟化的形式,带来了软件的灵活性。VSW不存在交换机表现的问题,缺点正是由于虚拟交换机降低服务器的性能,所以虚拟交换机的损耗会损耗CPU。

另外一部分,它有了一个虚拟化的平台,虚拟化的平台有很多,比方说有商用的,在这样的环境下,我们测试发现虚拟交换机在KVM开源的平台下性能好,如果采用的是商用虚拟化平台,就需要采用一些特定的方式,会影响转发的性能。这是第一个场景,也就是虚拟机的场景。

第二个场景是裸金属 服务器的场景,更多的应用,可能不接受虚拟机的形式,更多是希望把这个应用处在一台物理服务器上,所以提出来裸金属服务器的场景,它没有虚拟交换机,我们采用SDN硬件交换机,采用硬点交换机作为SDN转发设备,。

我们在去年开始研究、测试,今年开始规模商用,这种形式,可以满足裸金属服务器的接入。但是它对硬件交换相应的提出了要求,如果我要控制器管交换机有多种协议,相应的占用硬件交换机的资源,实现的门槛比较高。

第三种场景,将第一种场景和第二种场景简单的结合,如果有虚拟化服务器,又有裸金属服务器。

下面我具体介绍一下2016年的研究内容,2016年我们主要针对的是大规模数据中心的组网研究,刚才几位专家提及到,现在数据量越来越大,随着大数据业务的兴起,更多的业务系统对我们提出的要求,他们要求数据中心能够支持上万兆台的服务器,他们需要虚拟化和裸金属服务器混合场景,划分安全域、安全域间存在增值业务网元。我们提出两种,第一个,单一组网,虚框的范围我们认为是一个Fabric,因为它是一套控制机构,Openstack,所以它控制的入口比较清晰,管理相对比较简单,但是也有一定的问题,毕竟Openstack管理的能是有限的,控制器管理的能力也是有限的,所以就限制了组网服务器的规模。计算节点普遍首先于一个是Openstack的能力,一个是受限于控制器的能力。第二个,物理拓扑的限制,比如说一万台服务器放在一个端口,机房里面有很多光纤互联,这也存在了一定的问题。

我们推出了多Fabric的结构,我们希望Fabric和Fabric之间可以规模的复制,相对来说在每个Fabric里有一定的规模,现在我们初步的规划三千到五千台,组网的结构也是两级。一个Fabric拥有独立的控制器Openstack,每个Fabric里面有一个控制器和Openstack,它解决了控制器跟OPS的瓶颈。我们扩个Openstack控制器,这个时候Fabric跟Fabric之间的互联,我们首先有一个物理的设备底层互联,在多个Openstack之间,上层需要一个云管理平台,对这些资源进行联动。在这样一种场景下,我们对云管理平台需要很长的协同能力,而且Fabric跟Fabric之间,组网之间相对比较复杂。我们计划明年开始实际部署上万台的万兆服务器的资源池。

刚才讲的是技术方面的,就是技术的研究工作。技术研究的论证还是要通过测试论证,我罗列了一下我们从2013年开始做的一些测试工作,结合测试工作,最终我们为SDN的系统测试列出来一个测试的目录,这个测试目录包括系统的测试、控制器的测试、转发设备的测试跟组织网联的测试。2013年一开始,完成了国内外大规模摸底测试,发现各厂家能力差距大,标准有待完善。2014年,我们测试了Openstack和NFV的测试,2014年开始,把这样一个方案进行数据中心的试点。2015年,完成了比较正式的招标测试,完成了虚拟化场景下的,这样的方案是未解耦的。2016年,我们测试了混合场景,我们发现2016年测试,相对比较的成熟,但是同样的方案也是未解耦的方案。从2017年开始,我们计划测试全解耦的方案,我后面会结合产品做介绍。

功能的定制化,我们发现有很多东西提出来之后,大家并不是能够响应很及时,这个时候我们就希望借助一些开源的工具,自己做一些研究,掌握核心的技术,为自己的需要做一些定制化的开发,一方面是满足自己的需求,另外一方面,也可以推动整个产业界做相应的改变。

我们自研产品投入主要是三款产品,第一款是应用平台;第二部分是控制器。还有一个是硬件的交换机。我们配合自研的产品推出了北向对接APP的接口,控制器的南向对应转发设备的接口。

这个是APP的界面,其实跟Openstack提供的能力类似,也是有一些虚机、交换机、路由器,因为Openstack的能力是有限的。Openstack是没有业务链的,我们借助APP实现业务链的功能。第二个,自研的控制器,提出这样一个方案,引入控制器是为了解决Openstack原生方案,我们进一步希望把南向的接口打开,解决厂商绑定的问题。通过制定控制器向下的南向接口,我们可以和不同的商业产品进行对接,包括软硬件的交换机以及网关的产品,目前实验室也已经有很多的转发设备跟控制器进行对接,我们更多的欢迎转发设备跟控制器对接,最终实现接口完整的标准化。

当前控制器实现的一些功能,这个功能是结合数据中心需求的,一部分是自己定制的网络功能,一个是OpenFlow的功能。

介绍一下控制器的研发方向,我们发现这个性能满足中小型的数据中心没有问题,我们也提及了数据中心的规模会越来越大,我们以后会逐步的考虑控制器的运维、控制器的可靠性以及控制器的机群这方面,能够让它更好的满足越来越大的数据中心的规模。同时,有一个工作是跟智能网卡的对接,刚才提到虚拟化的设备,可能会影响CPU的性能,这时候采用一种加速的方式,把虚拟化虚机的流量卸载到网卡上,实现网卡进行转发。

第三款产品是定制化的交换机。我们在这个基础上,主要是结合自己的需要,定制了可视化的管理系统,因为我们有裸金属服务器的需求,所以说我们在定制化交换机支持VXLAN,满足裸金属服务器的场景。

我们更多投入的工作,一方面是产业联盟标准化的工作,我这里列举两个产业联盟,一个是SDN/NFV联盟,在里面输出了SDN解决方案的测试规范,2016年也是由联盟的测试组展开了SDN数据中心方案的测试;另外一个是我们的开放数据中心,ODCC,我们主要是承担了实际的AOC线缆的设备测试规范,现在也是在测试组做相应的测试工作。

另外一方面,在标准化方面,我们在相应的工作组都有了一些文稿的推动。还有一部分是国际的标准化组织,跟SDN相关的是ONF,我们成立的运营商级别的工作组,推动了相应的运营商级别网络的架构。另外一方面,我们在ONF做的工作是努力推动数据中心场景下TPP的模型,这个模型就是控制器和交换机接口,采用OpenFlow的协议,我们要求它支持TPP的模型,标准化之后,我们就可以把南向接口打开。

最后一部分关于运维的思考,一个数据中心的运维是特别难的,既然传统数据中心的运维都比较难,现在上了SDN之后,有一些SDN新的设备,有一些新的协议,相应的运维应该在原来的基础上更难了。所以我们在2016年做了一部分工作,提出了网络运维的需求,包括层次化的拓扑,包括联络的连通性,还有故障的定位,设备性能的监控。目前,对一些监控的数据,包括监控的指标、性能,这些上报的方式都存在着争议,包括网络连通性的检测标准,包括国内标准组织上炒的都比较厉害,明年的重点工作除了端到端的解耦方案,还包括SDN数据中心运维的研究。

最后总结一下,我们觉得SDN在数据中心的场景相对比较成熟,目前我们研究的重点是在大规模数据中心的组网,既然采用大规模数据中心组网,能不能不再被单厂家绑定,接口打开,提出全解耦的方案,我们觉得这是端到端的事情,需要产业界共同的合作,非常欢迎跟大家一起共同推进数据中心的开放。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党