12月13日,2018数据资产管理大会在北京国家会议中心举行,大会由中国信息通信研究院、中国通信标准化协会(CCSA)主办,CCSA TC601大数据技术标准推进委员会承办,中国IDC圈协办。国务院发展研究中心李广乾发表了题为“小数据的大价值”的演讲。

1544672126589

大数据的日益普及,人们会问,小数据是什么? 几个方面;一个是介绍一下背景,第二介绍小数据到底有哪些属性,第三小数据与元数据、主数据有什么关系,第四小数据对于我国大数据产业管理有哪些政策含义。

目前,人们所处的背景跟大数据的发展有密切的关系,大数据这个词也已经提了很多年了,特别是美国在2013年奥巴马总统颁布大数据的研发计划以后,对全世界的大数据产业发展起了巨大的推动作用,所以我国也在2015年发布了促进大数据发展的行动纲要。

为了贯彻“行动纲要”,国家也出台了很多的政策措施,地方也成立了相应的大数据的管理机构,近几年,从国家围绕促进大数据发展所制定的一些重大的政策文件,来看,大数据已经提到了国家发展的战略层面,但这些文件里面找不到小数据,尽管一些文章或者一些报道、一些专家的说法里面会经常提到小数据,但没有一个合适的界定,所以我觉得讨论小数据其实是很有重要的意义的,特别是小数据跟我们原来的信息资源管理或者信息资源开发利用这些概念和政策有什么关系,因为大数据好像是一个突然来到的概念,而且人们似乎觉得大数据是万能的,可以解决一切数据处理的问题。小数据又到底起什么作用呢?所以这应该是我们讨论这个问题的关键出发点。

认识小数据必须解决几个问题,一个是现在大家的说法我做了一些收集,有三种典型观点,第一是小数据指零星的弱信号,第二是小数据是指结构化的采样数据,从采样来看一般是抽取1-2%或者5%的小样数据来做整理和评判,另外还有一种小数据是指数据容量比较小的那些数据。但是我觉得这些说法对于我们认识大数据仍然不足以作为一个理论化的概念或者体系去构建。我觉得要讨论小数据必须明确三个前提:一是人们采集、加工海量数据的时候,通常都是具有某种特定目的;二是要体现某种价值,数据本身必须能够表述一个完整的信息;三是完整的信息应该包含明确的主体、客体和行为。这是构建小数据的时候首先必须具备的一个基本的前提。

我们把数据、信息、知识和智慧包括决策分为四个层次,每一个层次有一个递进关系,数据是基础,随着人们对小数据的认识,或者对于主数据、元数据的认识,人们觉得应该有所改变,怎么改变,能够把小数据和业务发展本体论结合到一起的话,也许有所变化。

基于这个认识,小数据的属性有一个基本的界定,与数据容量没有关系,自身应该包含特定意义,应该是一种结构化的数据,是对于大数据的数据之间关系的宏观描述,还有小数据与大数据是紧密联系在一起的,如影随形,是整个大数据的一个部分。从这个角度出发对小数据做一个定义,所谓小数据就是指描述并管理大数据的数据属性的数据,这是对小数据的一个定义。

这个定义之下,李广乾对小数据有一个分类,是关于特定类型的大数据的数据属性的数据,描述大数据中所包含主体客体的基本特征的管理数据,描述大数据中的行为过程的数据。对于第二类中可以分两种,一种是对于大数据中所包含的主体、客体的一般属性的规定,第二满足某类主客体属性的所有对象的数据。这里对小数据做了基本的界定,基本上把我们对于小数据的认识说清楚。小数据到底在认识上应该有哪些现有的技术或者说认识的框架,这个跟现在有什么关系?李广乾对这些类型做了划分,李广乾对小数据划分了三大类,其中有一类分两小类,但可以再做细分,可以分为元数据和主数据两种类型。第一类和第三类以及第二类的第一类的小类应该是一种元数据的范畴,第二类的第二个小类实际上是一种主数据,虽然如果从这个角度讲,认识小数据的时候,其实可以应用现有的对于数据管理的一些比较成熟的技术的方法去界定、认识。

为了进一步细分小数据具体的内涵,我们来看看元数据,元数据是认识很久的一个概念,最初是从图书馆管理学过来的,现在随着计算机系统的发展,主要应用在系统的日志管理以及各方面的应用,现在元数据得到了各行各业普遍的应用,我从《DAMA国际》2009年版说起,现在有新版,我对此做了概括,将元数据的领域分为16个方面,从这16个方面来看,其实我们每一个行业都可以用元数据的思路去做相应的界定,同时元数据类型分为业务元数据、技术操作元数据、流程元数据和数据管理制度的元数据,从属性来看元数据包括各行各业、各个领域、各个方面,每一个信息系统里面都存在着一个元数据的建设问题。

主数据这几年是一个概念,主数据也有国际标准ISO8000,DAMA国际在走出去的建设推广方面做了很多的理论,也出版了DAMA国际的主数据是一个重要的内容。我原来在2009年的时候做国家标准化,当时特别关注到我人认识基础信息资源主数据是认识的基本工具,李广乾对主数据做了一个研究。

谈到主数据定义,李广乾在2009年的时候做了自己的定义,他这个概念能够比较准确地界定主数据的科学的内涵,把主数据定义为满足跨部门业务协同需要的,反映核心业务实体状态属性的企业状态属性企业的基础信息,主数据在政府部门和企业认识有不同的做法,不同的行业有不同的主数据的认识的要求,只要觉得在业务属性上有必要把它当成基础数据来看,特别是满足主数据的特点就可以把它当成主数据来管理,这是对于行业的认识。

主数据对于其他数据的关系,李广乾做了一个划分,业务数据就是办业务留下的数据的信息记录都算业务数据,包括主数据和交易数据,交易数据是每次去做什么事情的时候特定的法定的依据产生的过程的记录,这是李广乾对这些数据之间的关系的认识。

在大数据中,小数据是非常重要的一个内容,要正确地认识大数据就必须把小数据认识清楚,认清小数据,对大数据才有科学、合理的、正确的认识,所以小数据对认识大数据是一个基础。今后对我国来说,为了促进大数据产业发展,应该充分地借鉴应用小数据的一种基本的理论框架,深化对于大数据产业的管理或者说应用。

下一步,小数据从政策上来讲应该怎么做,对于大数据的发展,首先应该深化小数据的认识,这应该从数据属性、知识管理和数据架构等方面对于小数据进行专题研究,特别是要把小数据的建设纳入我们大数据的产业发展的话语体系当中去。第二是加强宣传,克服当前对大数据不合理的观念,现在大数据发展以后很多基层的民众对它认识不清楚,对专业人士来说也存在很多困惑,因为觉得已有的大数据跟平常的工作没关系,只要用了大数据的系统,这个数据的管理、决策全包了,但是其实这是一个假象。

以往做的基础数据管理的工作非常必要的,而且是一个基础性的工作,这对人们采用新的大数据分析工具的时候仍然必不可少,在一些大数据的架构框架中,通过数据清洗仔细看,在思想上来看、从整个认识上来讲,仍然有对于数据的分化、分离的问题,更多的是把元数据和主数据给剔除出来,如果能够事先将小数据认清,有助对大数据的价值的利用分析过程,所以小数据还是具有很深的政策的含义,对于发展大数据产业仍然是一个非常重要的认识的理念。

第三应该基于小数据完善国家数据管理体系,促进我国大数据产业健康发展。各行各业都在做自己的大数据管理的文件,特别是在电子政务里面用得多,电商以及其他的一些传统制造行业,现在都在用数据体系进行构建。小数据对大数据管理的价值很有帮助的,可借鉴像ISO8000以及DAMA国际对数据的认识或概念标准化的说法,当然DAMA国际现在也在不断地演进,李广乾在想,从中国的大数据展现的管理来讲,可以借鉴DAMA的东西,但是DAMA的东西只能作为参考,目前,中国的大数据产业发展仍然有许多的问题要处理,比如基础数据建设以及数据合规性的管理,还有些特定行业跟行政管理体制的关系,怎么样共同认识小数据和大数据。

对大数据的产业发展都是非常有必要的,而且是对我国数据开发管理体制建设来说都是基础工作,小数据是重要的理论上或认识上的概念。

李广乾的分享,希望一线的工作的专家,希望在他的基础上提出更加专业、更加深入的建议,建立更加具有指导意义的认识体系或者理论体系,深化业界对于大数据产业的发展,促进我国大数据走在世界前面、健康发展。

相关阅读

波及40000多台主机,一个PHPbug引发的网络攻击

2018年度十大技术关键词

改革开放40年,他们改变了中国互联网


关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-08-26 08:20:00
大数据技术 大数据数字经济正为重庆高质量添动能
“首届智博会以来的一年里,重庆的大数据智能化发展成效令人振奋!”日前,重庆市大数据应用发展管理局负责人在接受记者采访时,激动地说道。 <详情>
2019-08-26 08:05:00
大数据技术 贵州获批建设贵阳·贵安国际互联网数据专用通道
8月22日,记者从贵州省大数据管理局获悉,工业和信息化部正式批复同意贵州建设贵阳·贵安国际互联网数据专用通道。 <详情>
2019-08-23 09:52:30
大数据应用 重庆大数据应用发展绘出新蓝图
8月22日,记者从重庆市大数据应用发展管理局(下称市大数据发展局)获悉,自首届智博会成功举办以来,我市新型智慧城市建设亮点纷呈,产业互联网平台云集,大数据智能化龙 <详情>
2019-08-23 09:47:42
大数据技术 大数据破解流动党员管理难题
浙江义乌作为一座开放型商贸城市,外来人口多、境外客商多、少数民族多、流动党员多,对城市转型、社会治理和基层党建等工作提出新的挑战。 <详情>
2019-08-22 18:24:00
大数据资讯 光大证券联合浪潮开发AIOps 荣获IDC金融行业技术应用最佳创新奖
近年来,随着人工智能技术的兴起,券商行业开始逐步使用人工智能运维平台,采用大数据、机器学习及更多的高级分析技术,提升IT运维效率。光大证券主动拥抱变化,搭建智能运维平 <详情>