2017年8月22日，开放数据中心委员会主办，百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院、英特尔承办的"2017 ODCC开放数据中心峰会"在京隆重召开。在下午的测试认证分论坛上， 中国移动SDN项目经理王瑞雪针对中国移动数据中心新技术测试研究做了演讲。

王瑞雪：谢谢大家，其实没有误会，我今天会分享我们之前存在的小误会。刚刚腾讯同学介绍他跟实验室的关系，先介绍一下中国移动数据中心的互联方案，这是测试EVPN的背景，最后介绍一下我们产业的开放和中国移动在做的事情。

数据中心的网络发展趋势，目前随着大规模的数据中心的部署，我们现在的数据中心的出口流量有三个变化，第一是流量流向的变化，数据中心的出口流量从南北向的流量转向了现有的东西向+南北向，东西向的流量也会随着数据中心的部署逐年增加，其次是流量的变化，目前数据中心的规模会越来越大，我们在单个资源池达到2万台数据中心规模，这样我们出口的流量会变得很大。第三是技术的变化，因为SDN数据的变化，我们在数据中心内引入了SDN技术使得我们数据中心内的网络更加简单化，业务部署更加灵活快速，对于数据中心间的网络带来了一些新的变化，多云互联，现在的数据中心互联已经不再像原来一对一的互联，所有数据中心间都会存在互联的流量。随着数据中心的部署，我们互联的范围会越来越大，原来是同城互联，现在可能会跨广域网甚至国际网络来互联。

低时延高可靠，我们部署在数据中心的业务越来越多，越来越公司愿意把他的核心业务放到我们的数据中心里，所以我们对数据中心的网络提出了更高的要求。低成本和高效率，对原来做一个互联的网络来说我们需要做很多配置工作，拉一根光纤成本会很高，如果想做多对多的互联，现有的方式不能满足我们的需求。网随云动，这是运营商最关注的一点，原来我们对业务是不感知的，所以我们的管道就只是一个简单的通道，未来我们想实现业务和网络的联动，可以让我们的网络更加智能化。

传统的数据中心互联技术，第一是专线互联，专线互联就是在两个数据中心间拉个专线实现二层和三层的传输，这种方式优点是比较安全，带宽有保障，可以树线数据中心间的大二层。但是劣势是成本很高，比较昂贵，开通时间也会很慢。还有种方式是MPLS技术，MPLS技术是一种广泛部署的技术，它是一个标准的协议，方便厂家的互通，可以基于隧道提出一些QS的保障，它的劣势是因为在传统陆游协议对底层网络有些要求，比如它需要支持MPLS技术，开通的时候需要很多的人工配置，这个开通时间也是很长的。

底层的网络技术依赖于底层的网络，配置比较复杂，业务开通周期长，运维成本高，只提供底层网络支持，转发设备并不能感知业务，所以无法实现业务和网络的联动，管道价值比较低。

基于现有的方案，我们在DCI之间引入了SDN技术，SDN技术网络集中化控制、网络虚拟化和开放化的特点，我们希望引入SDN技术来实现我们数据中心间的这张网络，实现资源的集中管理和灵活的调度，可以让我们的管道变得更加智能化。基于SDN技术中国移动提出了两个步骤，阶段一分别对应的是overlay方案，阶段二是underlay方案。阶段一的overlay聚焦的是端到端的开通能力，我们现在已经定制了一套标准接口对接各厂家的DC控制器。二阶段我们提出了underlay方案，它的作用是联动骨干网资源，实现真正的云网协同。对骨干网来说会引入WAN控制器。

EVPN协议用传统的MP-BGP技术实现了对于VXLAN的控制面，它可以通过传统路由协议为VXLAN网络二层三层提供一个统一控制面，实现对主机路由信息的学习，EVPN比较标准，允许不同厂家的互通。为了验证方案的可行性和厂家设备的互通性，年初进行了一次大规模EVPN测试，当时邀请了华为、中兴、思科、华三、上海贝尔、锐捷6家厂商。

这个测试第一种是单跳方案，第二种是多跳方案，DC之间引入一个新设备叫DCI GW，这两个设备之间跑一个EVPN协议，这两个设备通过一个VLAN做解耦，这个方案之所以提出来是因为有些厂家他没有办法实现一个VXLAN打到这再封一个VXLAN打出去，对于异构的数据中心来说两个DC内的VNI是不一样的，如果出现不一致的情况下路由会不通，我们当时提出一个方案保证DC间的VNI能解耦。单跳方案是我们目标的方案，目标方案是LEAF节点本身支持分布式网关，要求DC GW之间跑真正互联的EVPN协议，这种场景下我会分为同构数据中心和异构数据中心，同构数据中心是这两个DC内部的VNI和网络都是统一规划的。如果对同一个网段左边是10右边是20，这种是异构的数据中心。同构的数据中心，这种方案下可以实现从LEAF到LUEF下的L1L2的互通。

测试结论是这样的，对于单厂家的测试来说，基本可以满足我的DCI的互动需求，但是现在有两个问题，VXLAN的拼接，不支持VXLAN报文拼接，不支持Overlay而层面VXLAN隧道双活。目前厂家对TYPE1路由支持得不是很好，目前我们通过underlay底层隧道实现不同隧道的负载分担的情况。异厂家对接测试情况，各厂家L2互通场景全部测试通过，实现标准未统一。部分厂家L3互通存在问题，由于文稿中VRF的互通模型有3个Option，在标准尚未明确必选实现方式前，各厂家实现模型不通，导致各厂家发布的RT5路由存在差异。各厂家设备轮流充当EVPN协议的RR反射器，全部通过测试。

这个测试中有一些小思考，这个测试是很简单的，A厂家配置1个网段，B厂家配置三个网段，A厂家会绑在自己的VRF1内，B厂家也会生成一个VRF，把这两个网段绑在下面，测试10跟10通和10跟11通，测试中发现这三种场景，A厂家发tip5路由的时候没有发出32位的主机路由，到路由到达B设备的时候，直接将它的路由丢掉，当11网跟它互通的时候，流量不通。VNI值错误是因为在发2类路由的时候会带着A网段的ART表，我在ART表可以带两层VNI标签，有些厂家只带一层，会导致其他厂家无法把他的二类路由提取到5类的ART表里，VNI值会错误，VNI值跳表。

这是两个VTIP，左边配置一个10网段，跟右边VRF互通的时候就互通了。还有个场景，这种场景下当总部配了一个VNI值，A公司也会配一个对应的，B公司也得配上相同的VNI和RT跟它互通，A省有个市也会跟它互通的时候，我要在它对应的下面配上VNI等于1，对后续的限制会很大，一个配了VNI等于1，导致很多全网互通的时候都会存在这样的限制。可以通过不同的RT标识不同的VNI，有些人通过非对称来做，跟它通用1跟它通用2，都不符合我的要求。

业内的合作情况。第一是DCI的标准，目前架构已经统一了，如果先不考虑这边，接口1做了一个标准化，这两个接口用于下DAP配置信息，接口3就是DC控制器对本地DC的配置，通过Negtop（音）来做，下一些流量调优的策略。我们这个架构已经比较标准了，业内都比较认可，但是接口对于北向来说我们可以定标准，实现各家的统一，但是南向接口目前私有化情况比较严重，目前比较难解耦。

最后做一个小广告，我们网络工作组推出了基于硬件交换机的Openflow的TPP模型，这是中国移动自研的控制器架构，目前我们可以对接的产品有硬件的TOR、软件的TOR、防火墙、LB、网管和NET设备。对于硬件交换机来说，目前控制器和转发设备之间的接口是单厂家绑定的，很难解开，我们分析了一下EVPN、Openflow南向接口。目前我们已经在实验室跟一些厂家正在对接中，目前L2和L3的功能基本对通了，我们希望有更多的交换机厂家可以过来跟我们对接，包括负载均衡、防火墙都可以，如果有的话可以联系我们。这个白皮书会在ODCC的网络工作组发布，大家有兴趣的话可以关注。EVPN的测试规范，如果明天有机会想跟大家分享，希望郭总和我一起推动，希望更多的厂家参与到这个测试中来，谢谢。