为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,2019年6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办,大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。

会上,来自工业和信息化部的领导,我国众多优秀大数据领域服务商、行业应用客户、研究机构、地方大数据主管机构的领导和专家,将对大数据政策、产业、技术的现状与趋势等内容进行交流探讨。

来自数梦工场大数据产品线总经理章海锋为我们带来了《数据资产管理挑战与实践》的精彩演讲。

章海峰

各位来宾大家下午好,数梦工场是一家提供专业大数据软件产品和服务的一家公司,我们自己本身不产生数据,我们所做的事情是帮助客户做数据治理、数据管理上的工作。

我们在大量的行业实践中发现,公安、电力有大量数据的场景,数据集成的过程中存在着一些大的挑战。这里有一个国网省公司,有13万张表,要做数据同步集成,2万张表要做实时增量同步。这个过程中面临着非常大的挑战,是性能问题。我们发现产品上去以后,相对于效果的提升是非常明显的。原来一家国外公司提供的软件,在一个场景里需要耗费22小时,用我们的软件上去之后把时间降低了2小时,解决了客户长时间等待的问题。

特别是有大量的多元异构数据集成的情况,现在很多地方的客户看到,是多种软件加多种定制脚本的方式来做数据的集成。碰到的问题,除了难以满足数据稳定供应的挑战,对后期运维也带来了很大的问题。因此我们自研,做了全分布式集成系统结果,上午我的同事也进行了相关的分享。

数据标准化是数据资产管理里面碰到的非常大的挑战,大数据场景里大量数据要做标准化工作,对人力的消耗,对大数据平台开发人才的短缺困难上来说,会带来大量的人工投入的问题。数梦工场基于在政务领域的积累,我们把AI技术和大数据能力,以及在行业的一些积累,行业的知识融到一起,产生了非常好的效果,这是我们实践的案例,省级综合人口库的建设。我们从原来30人月的时间,降低到了10人天。我这里有一个论点,智能化将成为助力数据中台建设非常重要的方向。

海量数据的加工处理类似于大型自动化加工生产流水线,一旦出了问题,如何快速定位?源头数据变化,如何及时评估出来对下游业务的影响,我们提供全自动、全链路的数据血缘技术,精准的辅助数据问题的定位以及影响的分析。

特别是在政务领域有大量的实践,海量数据上来,大数据平台要做数据资产管理、数据治理,很大的问题是大数据人才的短缺。目前我们看到的是在大数据场景下,要做海量数据的处理与基于大数据平台开发是一个矛盾,我们就有了智能编排数据清洗。一方面对从业人员技能要求有所降低,另外带来的好处是,对底层大数据计算资源的消耗也会有明显的降低,使得效率提升的同时,得到这样一些好处。

其他的内容我们同事在上午也进行了分享,我就补充这些内容,谢谢大家。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2020-03-17 09:35:58
市场情报 5年跻身数字政府大数据行业前5 数梦工场践行新基建
五年前,一个叫“数据强国”的梦想,吸引了一批通信业老兵成立杭州数梦工场科技有限公司(以下简称“数梦工场”)。 <详情>
2020-02-12 15:59:00
市场情报 科技战“疫” 数梦工场用大数据助力联防联控、精准施策
面对疫情的全国肆虐,数梦工场通过数据智能技术,在应急管理、社会治安、智慧交通等城市治理的方方面面,助力各地政府精准、高效地展开联防联治、精准施策,希望助力跑赢病 <详情>
2019-11-19 17:52:08
大数据资讯 企业面临的五大数据挑战
前期如何选择一个合适的数据保护解决方案? <详情>
2019-06-13 09:51:54
国内资讯 数梦工场崔晓峰:数据资产需要可治理、可管理、可共享
服务于25个以上部省级客户、100个以上城市级客户、拥有150多项专利、通过CMMI5级软件认证……这些都是数梦工场在2015年成立以后,短短4年内取得的成绩。 <详情>
2019-06-11 15:52:00
国内资讯 现场直击 | 2019大数据产业峰会
为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,2019年6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办,大数据技 <详情>