中国IDC圈7月1日报道,2016年6月24日,由数据中心联盟金融信息技术委员会主办、中国IDC圈协办的"2016金融信息化成果展示会"暨金融信息化技术委员会成立一周年报告会在北京国际会议中心盛大召开。

本次会议持续一天时间,共设置了一个主论坛和三个分论坛,分论坛包括大数据专场、数据中心专场、云计算专场。会议特邀了国内各大银行技术大咖及业界精英齐聚一堂,共同探讨"互联网+"时代下,我国金融信息化发展的现在和未来。其中,中兴通讯首席架构师罗圣美出席“云计算专场”并发表了题为《分布式架构再金融行业的探索实践》的精彩演讲。

云计算-罗圣美

中兴通讯首席架构师罗圣美

以下为罗圣美演讲实录:

罗圣美:前面一开始建行的刘处长介绍了金融系统的传统发展方式,螺旋式上升,从集中到分散这样一个过程,但是每步都是不断前进和上升的趋势。金融行业可以看出大概的几个系统,面向客户服务的渠道,对哪个服务的产品,包括支付、结算、理财等等,还有用户、帐户、交易系统,最后面向最后的数据挖掘服务,每个组成部分都是独立的纵向或者烟囱式的组织架构的管理,因为它的业务不是一下发展起来的,是根据不同的阶段、不同的需求发展起来的,所以传统的建设方式原因,底层的数据是单向,从前端的渠道一直到后面的数据服务单向的流动。这些都是按照竖井式的架构进行建设。相当于一般的核心系统这样的压力都是在数据的服务、数据库和核心数据。

随着发展遇到一些问题,传统的方式随着信息技术发展,数据量越来越大,主要表现在两个方面,一方面是数据量本身的增大,比如传统的GP级,现在到TB级。第二是吞吐量,数据量大,按照原来传统的方式去处理,数据的要求比较高,对IOPS的要求也比较高。原来我们升级的方式也有问题,传统的厂商升级采用纵向的扩展,这种方式一定是有瓶颈限制,是特别价格和性价比不合适,这种方式造成了没有办法横向的扩展,这种方式导致大的问题就是垄断和封闭。昨天我跟农行的领导聊,这种方式造成很大的问题,只有少数人的能够控制系统,很难打开。

再看看这个系统带来的压力,刚才说有两个方面,一个是存储量,一个是吞吐力。这都是对业务处理压力的增加,特别是在线交易业务,它需要高并发、低延迟,速度要求很快,并发性要求比较高。传统的数据仓库、商业分析也带来吞吐要求,在这两方的压力下,呈现的不是单方面的线性增长,是平方式的增长要求,大的存储和大的计算,单纯的扩展是没法满足业务的发展和需求。当然还有其他的问题,包括传统的存储基础架构没法改变,扩容难题、成本高、系统的可靠性会降低,传统的修修补补的方式很难改变大数据背景下对金融信息化面临的挑战。

这些挑战都有一些解决方案和思路。正好今天的主题云计算的基础架构以及向新的方向发展。基础能力平台,主要是核心的数据库压力很大,都是OLTP.到第二个阶段,或者现在正在做的新一代系统,好多新一代IT系统的改造,这样可以实现一个好处,其他的好多业务可以利用共同的平台来制成。后面要做业务的创新,这个创新在几个方面,一个是现在很多基于数据处理,包括传统的BI分析,支付系统、银行等等,到后面更高的阶段,开放的体系,统一智能云资源调整,这样的平台实现了对前面基础能力平台、基础架构创新平台、业务应用创新、整体业务全云化转型,向更高更深层次的发展。

第二个就是怎么做。我们看看怎么才能满足刚才这几个阶段的要求。第一个就是金融业的分布式架构演进路线。第一个层次就是刚才说的传统方式,烟囱式的管理,网络、存储、服务器、运行环境、数据、应用。第二个层次就是平台包括网络、存储、服务器、虚拟化来制成,这样制成的好处是可以实现资源的共享,但是各个定制化的应用软件,包括中间件、运行环境、数据、应用仍然各自独立,这只是共享了基础设施。下一个就是Paas基础上更进一步,把运行中间件、操作系统等等融合在一起,降低了沉重的负担,可以做到很多的应用创新。在LAAS实现硬件的自动化管理、人与机器的结合。

第一个阶段,在应用架构实现X86的改造,大的特点就是实现应用的无状态,上层接入下层是一个状态,下层分布式的话,换到另外一个结点,状态没有了,业务没法实现连续点。X86的改造不仅仅是资源扩展,首先业务在管理的贡献也实现无状态。我觉得无状态的理解大家讲得比较少,每个应用都要跟每个固定结点连接,这个改造难度非常大,这也是我们面临的问题。第二个是基础设施改造,包括计算存储计算虚拟化、数据库的部署,逐步把老的系统迁移。最后是服务能力的改造,除了基础设施以外,更多是建立服务能力,包括微服务的环境。这样的好处不是像我们的大动干戈,而是小步快跑的方式实现整体的服务。

这里面一个很重要的,前面也讲过,云化里面有一个很重要的资源管理,传统的资源管理实现了各种各样的标准资源的管控,包括物理资源和虚拟化字眼的配置、业务调动和迁移,同时也可以根据服务的特性动带分配这些资源,管理传统的存储,或者是现在分布式存储的兼容,也可以实现物理机的管控。

还有一个问题,除了硬件资源管理,还有中间件资源。云化的时候中间件也是很重要的功能,包括负载均衡,第二个就是业务开发容器,应用开发要是让它保持在同一个环境下不做迁移,各种各样的应用开发平台,统一的WAS容器给大家提供。第三个就是总线,原来通过数据总线进行数据的交互和服务的治理,最后一个就是虚拟化里面用到的服务。这样的一个好处就是统一中间件服务可以实现开发管理、部署管理、配置管理、版本管理、数据安全管理。

我们再看看这就是开发。可以通过构建一体化的应用服务开发基础设施,包括我们现在说的Dev Module,所有的组建都是通过人力组建的方式。迁移的好处是在一个环境下,或者在不同的厂商之间,不用考虑过多的兼容性问题,第三个就是运维,运维前期的开发环境设计好了,运维就是比较可控的,运维运行和开发之间,没有对应关系,相对来说难度和存在的风险就比较高。

最后再分享一下我们在这方面做的应用探索。分布式架构这个系统本身有好多技术问题,我们还在研究当中,更多的还是一种探索的阶段。在这之前我们公司也定义了一个叫下一代的发展战略,就是MICT战略,金融做得的网络资源,近几年我们在金融领域深入它的业务的核心层,包括云计算的基础设施,分布式的架构,大数据数据库,在相关的金融行业也有不少的应用,所以我们在今年年初发了一个报告,叫拥抱MICT时代,为产业变革赋能。在未来的发展趋势来讲,世界不仅仅是移动互联网,可能跟物联网也有关系,不仅仅是做立足管道,还要拓展业务,完成产业布局,目的是让信息创造价值。

这是我们的发展战略,包括云计算和大数据作为公司未来战略性的投入方向,深入拓展金融、运营商和智慧城市重点领域,目前我们有1500多人,重点聚焦平台和行业应用,也参加国内外的科研组织。也做了一些积极的技术贡献。

这是我们在云计算基础设计建好以后对未来大数据行业需求的理解,我们总结为六个方面,第一方面就是存储,是所有数据计算的基础,包括结构化、半结构化、非结构化。第二个计算,一中分布式,一种是实时的计算,大的特点是考虑两个不同的维度,一个维度就是分到不同的界面的方式。这两个计算能力体现在管理,大量的海量数据存储和计算核心能力不是说物理的设施或者CPU的处理能力。这三个部分是基础设施架构必须要考虑的三大方面。这三个方面是管理能力。这三个是手段,这三个是目的。第一个是服务,你最终是面向自己服务的用户,而不是面向管理,所以对服务层的管控,包括用户的身份证认证管理,包括同步异步的转换,统一的产品标准。第二让别人使用你软件的开发。第三个就是运维管理,你做出来,方便你的客户怎么使用这个工具,所以它的安装、监控,刚才专家已经讲了很多,我就不再进行介绍。

所以我们在此基础上,我们做了一个解决方案。这是一个架构,包括三层,云运维管理,不管金融标准的厂商设备还可以兼容传统已有的厂商设备,中间构件了两个数据库,做了一个立体协同的安全保障体系。具体来说这个复杂一点。看这个简单一点。从产品的角度来说,在这几个方面,有大型数据中心和模块化的数据中心,或者是组装式快速部署的数据中心,也有物理服务器的磁阵,还有云平台系统,实现对资源的管控、存储的管控,在这之上大数据和数据库目录,在旁面有针对定制的智慧城市或者是小型化的业务团体下的一体机。

这是我们对数据中心底层数据中心管理,以资源共享为基础,安全性、可靠性为前提,通过智能化、快速部署。这是它的组成方式,我就不详细介绍了。这是我们在腾讯做的,我们是通过智能的数据中心进行建设大概有两千多个快速部署的架构,春节有人要红包,那就是数据中心在工作,超负荷运转的时候,调度还是很灵活,今年我们给它做了一个西部的数据中心,今年在春节抢红包的时候,可能会感觉流畅多了。

这里面用了几个新的技术,大家知道我就不详细说,一个垮平台的计算虚拟化,虚拟化不仅仅是单一平台的虚拟化,我们可以实现多个,一个设备统一虚拟化管理。

第二个就是存储虚拟化,这个今天讲得比较少,这个比较专业,传统的存储方式,成本比较高,扩容也比较复杂,我们做了统一支持块存储、对象存储、文件存储虚拟化管理,特别是现在的块存储发展最快,它不是按照文件方式存储,而是按照块的方式,每个用户可以定制自己所需要计算的存储资源,它的存储速度、效率比较高。

第三个就是网络虚拟化,刚才我看刘处介绍了SDN,这个做了一些尝试,但是我认为探索不够成熟,因为这个做成大网还面临很多的问题,虽然我们可以通过DSN打破网络的垄断,但是因为网络牵扯的面以应用牵扯的面广得多。它的好处就是在单个数据中心的业务对权限的控制实现单对单的服务保证,但是如果跨数据中心,跨广域网难度就很大,所以这套还是在探索过程当中。

另外就是管理平台,刚才说的计算存储网络统一做好了,更重要的就是集成化的管理,这个管理可以实现对用户的服务。这个用户服务,管理成熟度在不断的优化过程当中,因为虚拟化其实对原来资源是有些浪费的,我们现在在有些银行做的,很多东西是通过物理机的方式,反而比虚拟化更好。第二就是云化方式建单个数据中心,虚拟化进行管理,它也可以提高我们对传统资源的利用率。

我们后边说说基础设施,我们这几年做了很多的产品应用,大数据大家知道,现在的组建大概有三十多种,每种都在不断的发展,大家知道开源系统做得很好,最典型的公司已经把核心的组建做了科研,但是大数据要用好难度很大。第一组建实在太多,发展太快,一般人很难能够了解全面。它有很多的参数,你不知道原来为什么是这么设计的,一旦出问题的时候你就找不到解决方案。第二个就是刚才说的,在很多方面,它当时为了适应环境而搭建,而不是为了一个产业化的实践搭建。要真正用好,需要一个很完善的管理体系才能够实现。第二个就是大数据这套系统很复杂,如果所有的开发人员都要了解底下的科研组建,我们在里面做了统一的数据服务支撑,把所有的底层的组建封锁在平台上,它可以实现刚才说的六大功能,实现数据路由,数据查询和底层是脱离的,你查完以后自己不知道数据在哪儿。一条业务指令下来我可以编成不同的组合,能力的开放跟用户自服务、多租户,都是面向用户的时候需要考虑的很重要的因素。

这个是面向最底层的数据处理能力,其实大部分人用不到,但是你即使用到一个组建的一小个功你都要搞明白。另外就是我们向上层开发,类似于一体化的用户开发一样,我们有个统一的业务开发环境,实现能力的开放,主要实现特点就是刚才说的统一的编排调度、数据治理、算法的架构选择、服务引擎子系统和管理运维子系统,把这五个方面打通就实现了大数据的运维管理,这样的好处是,这套体系不是基于科研做的,而是基于可服务的架构。

最后讲讲分布式数据库。数据库这个事情我们研究了这些年发现确实挺难,IOE都比较好去,但数据库难在经过大概十几年的发展,几万人的开发,已经做得非常强大、完善了,它这个可能是全球所有的功能都能实现,但是如果你要做跟它媲美的,这简直是比登天还难。这里面有些考虑,我们做了一些实践和创新,采用了这几个技术,包括分布式的事务处理,还有备份与恢复处理能力,两地三中心的方案,高性能分布式优化器,异购数据库迁移,快速实现数据割接。我是基于数据处理,分布式架构的特点下,执行特定应用,也许这是可行之路,我们做了很多探索。

这是我们在大数据应用情况,包括个人综合对账单以及网银实时风控等等。这里面有个效果的评估,通过向全行提供交易明晰,数据归档等。冠字号查询避免用户取到假钱是很必要的服务,慢的十五分钟,我们做了分布式数据,针对它冠以字号查询最快达到一秒钟,提升九百倍,特点就是精确查询以后,我们采用分布式的数据库,不像原来集中式的架构,提高了好几百倍,属于高级的查询,大概是三十五秒,数据库很重要的是,除了架构以外,很重要的是优化措施,这也获得去年银监会的一等奖的支持。时间有限,我就把这几点跟大家做了一个汇报,感谢。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-06-08 16:35:41
市场情报 金融行业引领数据库转型改造,华为云GaussDB成一致选择
6月7日,在华为全球智慧金融峰会2023召开期间,华为正式推出国内首款软硬协同、全栈自主的分布式数据库GaussDB。 <详情>
2021-02-05 09:20:07
交换存储 金融行业存储的发展趋势与选择
存储技术的发展方向是在降低单位存储容量的价格的同时,追求更高的并发、更高的吞吐量以及更低的IO响应时延。 <详情>
2020-12-15 18:23:00
市场情报 金融行业该如何抵御撞库攻击
为了获得针对撞库的超强保护,金融服务机构应在多层安全解决方案中加入基于网络的爬虫管理解决方案。 <详情>
2020-11-10 18:02:00
市场情报 数字化转型如何落地?MAXHUB应用案例让传统行业焕发活力
新基建浪潮裹挟下,各行各业都加紧数字化转型步伐。然而,面对新一代信息技术应用的不断深化,如何借科技之力让数字化成为发展新引擎成为各企业及机构不得不思考的问题。 <详情>
2020-10-16 17:43:17
云资讯 再获国家级权威认可,开源先行者:腾讯
10月16日,由中国信息通信研究院主办、云计算标准和开源推进委员会承办,云计算开源产业联盟,金融行业开源技术应用社区支持,中国IDC圈协办的2020OSCAR开源产业大会正式开 <详情>