为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,2019年6月4日至5日,由中国信息通信研究院、中国通信标准化协会主办,大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重举办。

会上,来自工业和信息化部的领导,我国众多优秀大数据领域服务商、行业应用客户、研究机构、地方大数据主管机构的领导和专家,将对大数据政策、产业、技术的现状与趋势等内容进行交流探讨。

在6月5日的数据资产管理分论坛上,中国信通院大数据团队发布了《数据资产管理实践白皮书(4.0版)》,中国信通院云计算与大数据研究所工程师李雨霏对白皮书进行了解读。

01

大家下午好!我是来自中国信息通信研究院云计算与大数据研究所的李雨霏,我今天主要为大家介绍一下《数据资产管理实践白皮书4.0》。

我发现,虽然说现在数据资产管理似乎被推到了风口浪尖,很多做数据管理的人一定要知道数据资产管理,但是实际上在企业真实开展数据资产管理的过程当中也面临很多的困难。我们中国信息通信研究院从2017年的时候开始逐渐深入了解以及研究数据资产管理,形成了一个比较完备的理论框架。我个人认为理论框架对于指导企业进行数据资产管理是非常重要的,如果说没有一个好的理论框架做支撑的话,在进行实践的过程当中就随时可能碰壁,却找不到良好的解决办法问题。今天我主要就是讲一下我们《数据资产管理实践白皮书4.0》的主要内容以及对于3.0的更新部分。

《数据资产管理实践白皮书4.0》的亮点与更新点

首先,本白皮书的一些亮点与更新点。第一是在对于数据资产管理整个完整的架构体系,我们认为数据治理是属于数据资产管理的一部分,是指一个高层次的规划性的数据管理适度的活动,包括制定数据战略、完善数据政策、建立数据架构等。第二是数据怎样真正转变成为数据资产。我们可以从传统意义上的数据全生命周期管理,结合对有形资产已经比较完善的资产化管理的流程来形成数据资产化的管理流程,包括数据的采集、数据的存储、使用到销毁,可能会逐渐发展成为数据的登记、数据的申请、数据的销毁等等流程化的管理,同时从数据的管控、保值增值实现数据应用服务的创新。第三,我们也完善了数据资产管理在过程当中的一些管理工具,使它的功能更加丰富,从而使这个数据资产管理更加高效便捷。

《数据资产管理实践白皮书4.0》解读

接下来我主要从数据资产管理是什么、数据资产管理包含哪些内容、企业在真实地开展数据资产管理的过程当中有哪些具体的实施步骤,还有每一个阶段可能会有哪些交互等方面为大家解读一下《数据资产管理实践白皮书4.0》。

数据资产管理的概念

首先是数据资产管理的概念。我们参考了DAMA2.0对于数据资产的定义,同时和业内专家进行了讨论,最终认为数据资产是由企业拥有或者控制的,能够为企业带来经济利益的数据资源。在这个定义当中,非常重要的一点,同时也是和传统意义上对于资产的关键的属性保持一致的,就是数据资产是在未来能够为企业带来经济利益的。所以在企业当中并非所有的数据都能形成资产,是那些为企业带来价值的资源才可以称为数据资产。

因此数据资产管理非常关键的目标就是提升数据成为资产的转化率。因为企业虽然可能会拥有很多的资产,但其实因为数据质量等原因,很多的数据可能是垃圾。而数据到资产的转化是真正地实现数据资产化管理的一个关键点。数据成为资产的另外一个特征是可以计量成本与收益。

当前数据价值难以释放的原因很多,比如数据的质量不过关、数据难以打通、数据获取的成本较高,以及数据的安全难以保障等等。数据资产管理则是通过盘点数据的资产、提升数据的质量来打破数据的孤岛,提高获取的效率,保障数据的安全,最终形成一个持续的闭环,从而实现数据的可得、可用与好用,为企业的数字化转型打下了基础。

数据资产管理架构

数据资产管理的框架,主要包括八个管理职能和五个保障措施。

第一个是数据标准管理。数据标准管理是一个非常关键又基础的活动。数据标准是指保障数据内外部使用和交换一致性和准确性、规范性的约束,数据标准管理则是通过统一的数据标准制定与发布来实现数据平台的完整有效一致与规范。如果数据标准管理做得好的话,很大程度上能够实现企业内部数据的互联互通,可以推动企业外部数据的交换。

我们对数据标准也做了分类,主要分为基础类数据标准以及指标类的数据标准。企业在对数据标准进行分类的时候也可以从其他很多不同维度进行划分,一个好的分类更多的是保证每一个类别之间没有更多的内容交叉。我们这个基础类的数据标准主要是包括参考数据、主数据标准、逻辑数据标准、物理数据标准、原数据标准、公共代码和编码的标准,而指标类则是对于一些特定的应用场景以及业务需求,比如经济指标等,又包含基础指标以及计算指标。

如果我们要制定一条数据标准的话,可以包含以下三个主要的要素:1.标准的信息项,主要是对标准的特点、性质进行描述;2.标准的分类;3.公共代码和编码。公共代码和编码很多企业也会参考国标和行标,如果国标、行标没有的话,企业可以在内部形成完整的数据标准编码体系。与国标或者行标保持一致,将推动数据流通的实现。

数据标准管理关键活动的第一个是理解数据标准化的需求。其实这也是其他很多数据管理活动的一个出发点,即任何一个管理活动都要和企业的战略规划、和企业的需求紧密地结合。数据标准管理的第二个关键活动就是制定数据标准的体系与规范,第三个是制定相应的管理办法以及实施流程要求,第四个是建立一些数据标准的管理工具。

第二个管理活动是数据模型管理。数据模型是现实世界数据特征的抽象,数据模型管理将会使业务人员、应用开发人员和管理人员获得企业内部业务数据的统一完整,在企业开展数据资产管理之前,这个数据模型管理如果能够搭建一个比较好的数据模型的话就可以更好地指导数据资产管理一步步地开展。

数据模型包括三个:1.概念模型。概念模型是面向用户与客观实践的,构建概念模型的本身与数据库或者数据仓库的架构搭建没有特别多的关系。2.在建立了概念模型的基础之上可以构建逻辑模型,逻辑模型是面向业务的,用于指导一些数据库系统的实现。3.物理模型,物理模型是基于逻辑模型,面向计算机物理表示,考虑了操作系统、硬件模型等等,描述数据在存储介质上的结构。

第三个是元数据管理。以二维表为例,想描述一个二维表信息的话,我们可以描述它每一行、每一页,也可以提取这个表中的一些抽象化或者是更高层次的信息,比如说这些表的字段或者表的结构以及表的大小等等,这样就对这个表格进行了数据的描述。元数据管理将会帮助我们实现关键信息的追踪与记录,快速掌握元数据的变化可能带来的风险。元数据管理也逐渐成为了数据资产管理发展的关键驱动力。

我们将元数据管理主要划分为技术元数据管理、业务元数据管理与管理元数据,其中技术元数据主要是指和技术领域相关的,包括数据结构的定义、数据的转换等等。业务元数据是和业务相关的,包括业务的术语信息的分类、指标、统计口径等等。管理元数据主要是管理领域相关的概念、规则,包括人员的角色、岗位的职责以及管理的流程等。元数据非常关键的运用是进行血缘分析和影响分析,通过进行血缘分析和影响分析可以帮助我们了解一些数据的走向,知道数据是从哪里来到哪里去,也可以构建数据地图和数据目录自动提取元数据信息,帮助我们了解这个企业目前拥有什么样的数据资产。

第四个是主数据管理。比如说供应商数据、物料数据、客户数据、员工数据。主数据管理可以使企业跨系统使用一致的和共享的数据,从而可以降低成本和复杂度,来支撑跨部门、跨系统数据融合的应用。主数据的关键活动包括识别主数据、定义和维护主数据的架构以及实现数据库与主数据库的同步。

主数据管理在很多行业,尤其是工业行业、制造业等,成为企业开展数据资产管理的切入点。通过对主数据的梳理和管理,将建立数据的一个参考,为数据标准后期的管理节约很多很的人力和物力,这个效果也是可以在短期内看到的。对于没有经验开展数据资产管理的企业而言,从主数据管理入手(有的企业也将主数据管理纳入数据标准管理)将会为企业带来信心。

第五个是数据质量管理。我们都知道数据质量的管理非常重要,数据质量的管理可以帮助企业获得一些干净以及结构清晰的数据,进而可以提高数据应用和服务的水平。通常意义上我们对于数据质量好坏的衡量有一些指标,这里总结了六个比较通用的指标,包括完整性、规范性、一致性、准确性、唯一性、时效性。实际上,企业可以根据自身的需求灵活地变动数据质量的评价指标。

同时我们也知道在进行数据质量管理的时候,企业肯定会付出相应的成本,而数据质量管理应该将管理过程中成本考虑进去,不是单纯的从数据分析员的角度,得到最理想化的纯净的数据。举一个比较形象的例子,如果以0-100分对数据质量进行平分的话,从50分到70分上升20分的时候,企业付出的成本多出20%,企业效益也多出20%。但是从70分到90分也上升20分的时候,他可能在原有的基础上多出50%,获得的经济效益只多出5%,这就是定义数据质量的需求。同样和之前的数据标准管理的第一步关键活动非常地类似,就是我们要和企业的业务需求紧密结合,要找到平衡点。数据质量管理其他的关键活动包括持续的测量、监控数据的质量、分析数据质量产生问题的根本原因,以及制定数据质量的改善方案,监控数据质量管理操作和绩效等等。

第六个是数据安全管理。主要是对数据设定一些安全等级来评估数据的安全风险,来完善数据安全管理相关的技术规范,通过对数据进行全生命周期的安全管控,包括数据的生成、存储、使用、共享、销毁等实现事中前可管、事中可控、事后可查。

第七个是数据价值管理。作为数据资产化管理非常关键的一步是通过对数据内再加之的度量,从数据的成本和数据的应用价值两个方面来开展,使企业能够最优化、最大化释放数据的价值。这里展示了一个数据成本计量的维度和成本价值计量的维度,成本价值计量可以从采集、存储、计算成本进行评估,也可以从运维成本评估,还可以从数据的活性以及数据质量应用场景的经济性等角度进行评估。其实数据的成本和数据价值的评估维度也是企业可以灵活选择与调整的,主要和自己的应用场景和业务需求挂钩即可。

在我们定义了数据成本与数据价值的评价维度之后,我们看一下有什么样的典型方法,这里列出三类:成本法、收益法和市场化。成本法和收益法相对比较理解,但是这两种方法有比较大的弊端,企业可能过于主观,关注的数据更多的是在企业内部共享使用的数据。而市场法则相对客观一些,通过价格来衡量数据真实的价值。但是现在数据的流通市场可能还不是特别完善,数据变现还存在一定的困难,可能将来会成为一个比较好的评估方法。数据价值管理分为数据成本管理及数据收益管理两部分,通过维度确定他们的核算指标,监控数据成本的产生或者是监控数据收益的产生,来确定成本的优化或者最大化收益的方案,进而实现数据内部共享、数据外部流通、数据交易以及数据变现等等。

第八个是数据共享管理。因为数据共享其实也是扩大了数据的使用范围,数据使用的最终目的是提供数据的服务,数据共享管理的关键活动就是包括定义数据资产运营的一些指标,还有设计一些管理方案等。

数据资产管理的保障措施

下面是数据资产管理的五个保障措施:第一点是制定战略规划,就是将数据资产管理战略纳入企业战略规划,成为其中的一部分。第二点是完善组织架构,明确数据资产管理各个角色相应的智能。第三个是建立制度体系,形成覆盖数据资产全生命周期的一些管理规范。第四个是设立审计制度,第五个是开展培训宣贯,通过安排员工参加一些课程以及培训来实现数据资产管理的更加专业化。

数据资产管理的工具

企业在开展数据资产化管理的过程当中,通过对这些管理工具的使用或者是一些个性化定制,能够使数据资产管理更加高效便捷,配合专业人员的使用,来更加节省成本,提高数据的收益。其中有两个,比如数据价值管理工具以及数据服务管理工具也是非常重要的两个管理工具。数据价值管理工具包括数据资产的盘点,形成一个数据资产的视图或者是形成数据目录,以及进行数据价值的评估以及成本的管理等。数据服务管理工具其实跟我们刚刚所提到的八个管理活动不是特别对应,但是实际上就是服务于数据共享管理,因为数据服务也是作为数据共享的主要输出。

数据资产管理组织架构与角色智能

组织架构与角色职能从上到下描述的话,第一层是数据资产管理委员会,委员会作为数据的决策者负责领导数据资产管理的工作,在数据资产管理出现重大问题的时候,负责仲裁。一般来说,数据资产管理委员会可能是一个实体,也可能是一个虚拟的结构,通常是由一些高层主管构成。第二层是数据资产管理的中心。作为数据的管理者,数据资产管理的中心负责牵头制定数据资产管理的政策、标准监督各项数据规则、规范的落实情况,负责数据平台的整体运营、组织与协调。第三层是数据业务部门、支撑部门、使用部门等等,作为数据的提供者、数据开发者以及数据消费者。其中数据提供者是配合制定相关的数据标准,同时也是数据质量的主要责任人,而数据开发者是制定数据标准和数据的质量,数据消费者可能是作为数据资产管理平台闭环流程的发起人,负责反馈数据的使用效果。

数据资产管理的实施步骤

数据资产管理的实施步骤,我们主要总结了四个阶段,第一阶段是统筹规划。该阶段也分为几个小步骤,第一步是建立组织体系,第二步是制定管理制度,第三步是盘点数据资产,帮助企业更了解现在他们所拥有什么样的数据,第四个是评估数据管理水平——可以通过自评估或者他评估数据管理的方法,第五步是制定数据的标准规范——在这个阶段它产生了一些主要的交付物,包括数据资产管理的规划、问责机制、清单以及现状的评估等等。

第二阶段是管理实施,包括数据模型、数据安全等其他的数据资产管理关键活动的落实。在这个阶段主要的交付物包括数据资产的管理办法,管理办法涵盖的内容包括数据标准、语言数据、数据质量等等。第三阶段是稽核检查,主要是对数据标准、数据存储、数据管理等方面的相关检查,从而形成数据稽核以及问题管理办法等等。

最后一个阶段是资产运营,主要包括数据资产的价值评估以及内部流通和运营流通等等。

我们总结了一些数据资产管理的实践案例,通过案例的简介以及现在面临的痛点和难点实施路径、应用效果等,分别从电信行业、金融行业、政务行业、医疗行业、教育行业等等进行了梳理,使大家能够让理论和实践更好地结合。白皮书上没有案例集,我们计划过段时间将案例清单作为一本单独的书发布出来。

数据资产管理的发展趋势

总结一下数据资产管理的发展趋势。

第一点是数据资产的变化。除了满足大数据的特点,包括海量的数据以及数据结构的多样化,现在非结构化数据以及半结构化数据占比非常多,同时数据的来源也更加丰富,而企业对于实时数据的需求也更加多。

第二点是数据处理结构的更新换代。现在数据处理的底层架构已经向云平台以及分布式平台迁移,同时跟预处理也向ETL转变。

第三个是组织架构的升级变迁。原来是IT部门主导业务部门配合,现在是业务部门主导IT部门配合,或者两者共同参与。同时形成了专业资产管理的团队,新增了数据资产管理的团队,包括熟悉数据官、数据架构师等。

第四个是数据手段自动智能。通过搭建数据资产管理平台,同时借用一些智能的数据管理模块,实现数据的可视化,探索数据的关联关系,更好挖掘数据的价值。

第五个是应用范围的不断扩大。原来大家可能传统意义上认为对于数据的管理或者对于数据资产的管理针对的是大型企业,但是数据资产管理、数据资产化的概念或者这个理念是完全可以被任何一个企业采纳的,中小企业开展数据资产管理的时候可以开展小的数据资产入手。内部应用与外部应用并用,实现数据保值到增值的跨越。

我们在对数据资产管理的理论和实践进行总结的基础上也是应用了相关的标准推动数据资产管理工具的不断成熟。从团标、行标,再到目前在国际标准组织ITU立项的数据资产管理框架,充分的说明数据资产管理是全球都比较关注的议题,发展未来可期。

最后,非常感谢参与白皮书编写的主要成员和主要的单位,在本白皮书编写的过程当中所做出的努力和贡献。并诚挚的邀请业界对数据资产管理有兴趣的专家同仁与我们共同探讨数据资产管理的难题问题,推动数据资产管理在各行业的发展。

感谢各位的聆听!

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-06-05 15:50:36
国内资讯 2019大数据产业峰会|联通大数据李大中:联通大规模数据集群治理实践
运营商的数据量确实非常大,实时性要求非常高,从采集、处理加工等每个环节都要投入大量的人力物力来做,这个过程当中产生了很多以前在中小型规模和集群上遇不到的问题。数 <详情>
2019-06-05 15:46:47
国内资讯 2019大数据产业峰会|星环科技季钱飞:流处理的下一阶段——实时智能决策引擎
首先跟大家一起回顾一下整个流处理技术的发展历程;然后从星环的视角跟大家一起简单分析一下目前企业级流处理市场现状;最后稍微详细介绍一下我们目前在流处理技术上的探索 <详情>
2019-06-05 13:15:00
国内资讯 2019大数据产业峰会|中国信通院王卓:脱敏标准为何如此重要
在正常生产和使用中,对敏感数据进行共享和使用的时候,存在一些数据泄露的风险的场景,这种情况下数据脱敏就是必经环节。法律法规和行业要求,对数据脱敏的时候有脱敏程度 <详情>
2019-06-05 13:08:00
国内资讯 2019大数据产业峰会|中国信通院廖璇:安全数据检测技术研究
现在我们谈的数据安全不仅仅是传统的信息安全,以及网络安全,以前我们谈的数据安全可能就是数据安全保护以及面临的网络安全与数据安全的衍生品,但是我们现在谈的数据安全 <详情>
2019-06-05 13:02:00
国内资讯 2019大数据产业峰会|对外经济贸易大学许可:金融数据的二元性:破解安全与利用的悖论
金融数据确实是高度敏感性的。毫无疑问它关系每个人的隐私,对于金融数据的滥用或泄露可能会造成财产安全受到威胁;另一方面它又有公共性的层面。金融数据很多时候是为了第 <详情>