Nutch始于2002年一个试图解决大数据搜索的开源项目,经过十几年的发展与变革,已经形成围绕Hadoop产生的大数据生态圈,至今这个生态圈还在继续蓬勃发展,那么大数据能给DCIM带来了什么?或者说随着多年来,存储模式的不断演变,随着进入大数据变革时代,DCIM能够做些什么?DCIM大数据架构又发生了哪些演化?

DCIM现状

DCIM全称Data Center Infrastructure Management,即数据中心基础设施管理。DCIM是近几年逐步发展起来的热门课题,通过将传统机房监控和IT资产管理结合起来,采用一体化平台,实现数据中心资产资源统一管理。

目前进入的企业主要来源两大类:一类是专业厂商转型,包括:楼宇自控、安防、IT运维以及动力环境等专业厂商;另一类则是由传统的中小型机房监控厂商,通过扩大现有产品涵盖范围进入这个新兴领域。无论是上述哪种类型厂商推出的产品,都是经过有由小变大、由简单变复杂的演化过程,这其中经历过简单监控——流程化管理——多维度分析等主要过程,目前正在往大数据化、智能化分析方向发展。

单数据库模式

早期的机房监控一般规模都不大,传感器采集数量有限,所有数据都存储到一个数据库中,上世纪90年代中后期,这种基于C/S架构的单数库存储模式逐步成为主流。如图1.

图1

图1 单数库模式

网络存储模式

进入2000年后,随着Web技术流行起来,逐步取代C/S成为主流架构。但是由于机房监控软件属于行业应用系统,对实时数据刷新有一定要求,因此大部分厂商在提供Web页面基础上,也提供了桌面客户端或者基于Java Applet技术的富客户端。Web用于呈现综合信息,而桌面客户端则倾向于呈现实时性要求较高的交互页面,图2描述了这种早期网络存储模式。

图2

图2 早期网络存储模式

这种存储模式以数据库(Database)为中心,应用服务器(App Server)和桌面应用程序(Desktop App)直接连接数据库;而Web服务器(Web Server)和富客户端程序(Rich Internet App)则脱离数据库,直接连接应用服务器。

这种模式架构投入运行一段时间后,用户逐渐不再仅满足于获取告警和实时数据,一些高级用户希望能够将收集的所有历史数据,通过报表方式统计呈现出来,帮助他们进一步诊断故障原因或做一些科学分析。

① 垂直切分

考虑到历史库数据量会比较大,开发人员将原先的单一数据库进行垂直切分,分离出配置库、历史库和交换库,部署到不同的机器上以减轻数据库系统压力,如图3.各个库承担的角色如下:

(1)配置库(Config Database)用于存储系统运行环境和实体关联信息;

(2)历史库(History Database)用于存储实时数据和历史数据;

(3)交换库(Swap Database)又被称为临时库,用于存储复杂计算中间值或用于第三方对接系统数据交换。

图3

图3 垂直切分后的网络存储模式

② 水平切分

当系统运行很长一段时间后(通常在两三年或者更长),运维人员发现历史库承载压力比较大,经常出现一些问题,比如:

(1)整个系统响应速度变慢了,用户操作体验变差;

(2)查询跨度较大的报表时,响应时间明显变长甚至出现超时故障。

为了解决这些问题,开发人员开始数据库进行水平切分,比如先对历史数据进行分类,然后为每一种类型实现按月、按年分表。

大数据混合存储模式

近两三年,随着大数据中心建设在全国各地范围内开始兴起,中小型机房监控系统逐步过渡到DCIM管理平台,不同于原有的监控系统,数据中心对新的平台要求更为严格,主要原因包括:

(1)高安全性。管理平台需要7*24小时不间断实时监控,不仅仅要在出现故障时能够立即做出响应,同时还要根据历史积累数据,在出现故障之前做出预警。

(2)规模较大。数据中心的机柜可能会达到几百、上千台,占地面积从一个独立的机房到整栋楼,这个是传统的中小型机房所不能比拟的。

(3)业务计算复杂。传统机房以实时监控为主,而DCIM平台主要目的就是帮助运维管理人员实现科学化、智能化管理。因此,增加了一些复杂的功能,比如:流程管理、告警预测以及大数据决策等,这些新兴业务会导致程序计算工作量成几何级基数增加。

综上所述,从机房监控走向DCIM管理平台后,以数据库为中心的存储模式已经很难适应平台化管理要求,因此引入新一代存储模式势在必行。

从2012年8月开始,Apache Hadoop YARN(Yet Another Resource Negotiator)成为Apache Hadoop的一项子工程,YARN提供了一种通用的资源管理和分布式应用框架。在这个框架上,用户可以根据自己需求,实现定制化的数据处理应用,包括Hadoop自身的 MapReduce,也包括Spark、Storm等新一代处理应用。Hadoop YARN架构已经成为当前主流,在这里我们以Hadoop技术为平台,介绍这种大数据混合存储模式架构,如图4.

图4

如图 4 大数据混合存储模式

下面我将重点自下而上介绍这种混合存储模式架构:

(1)最底层由传统从关系型数据库(RDMS,Relational Database Management System)和Hadoop集群组成,关系型数据库继续用来储存配置信息,而历史数据则迁移到分布式文件存储系统(HDFS,Hadoop Distributed File System)上,由于HDFS提供的交互比较原始,上层数据交互方式可以选择Hive数据仓储(Data Warehouse)、Hbase数据库(Database)或者Spark RDD(resilientdistributed dataset)等高级接口。同时由于历史数据存储在Hadoop集群上,这些数据处理工作交由Hadoop应用(如分布式计算——Map/Reduce、并行计算——Spark或者实时计算——Storm)承担完成,原先的交换库(Swap Database)将从新式架构中移除。

(2)中间层采用了计算节点(Compute Node)集群方式,我们也可借助第三方开源工具(如ZooKeeper)实现这个过程。集群上运行的程序既包括传统应用服务器(App Server)和Web 服务器(Web Server),也包括与Hadoop应用协作的分析服务器(Analysis Sever)。

(3)顶层主要用来呈现,从承载方式看:主要包括Web浏览器、移动设备以及桌面应用等;从展示内容看,既包括传统的报表表格也包括组态和3D等新式交互体验。

ZNV中兴力维如何发力"数据中心"

在过去的两三年里,ZNV中兴力维专注于动环监控管理和视频监控产品的研发,这是两个相互独立的产业。随着数据时代的到来,企业的数据机房、电信运营商和互联网公司的大型数据中心(IDC),无时无刻不在存储和管理着大量的数据资源,而IDC需要配备大量动力环境设备和视频监控系统来确保IDC的正常运行。因 此,ZNV中兴力维提出在公司原有产品动环监控(PE)、视频监控(VS)基础上加入IT系统管理(ITSM)和基础设施资源管理(FRP),开发出一套数据中心基础设施综合管理系统(DCIM)。这套系统可以通过千万个感知设备采集到海量数据,并运用数据技术(DT)和机器深度学习,实现对动力和环境设 备的监控管理,以及对IDC资产、容量、安全、效率、质量、人员、故障、运维等进行跟踪管理和模型分析,从而为IDC提供一个高度自动化的、高效高质的、节能减排的,7*24小时无间断的运维管理。这也是中国制造2025和工业4.0的主要宗旨。

在IDC领域,ZNV中兴力维推出新一代"IDC智慧数据中心综合管理解决方案(维统管)",采用创新的"211"(两端一线一平台)架构设计,实现大数据的采集、整合、传输,通过PC浏览器、移动终端APP、微信等多种方式对平台进行访问及数据交互,支持二次开发,在供电保障、智能安防、智能楼宇、容 量管理、资产管理等方面为客户提供整体解决方案。目前ZNV中兴力维已成为IDC基础设施的主要建设者之一。

未来,ZNV中兴力维的目标是PEIM,即动环及物联网综合管理系统,在现有的DCIM上增加数据技术(DT)和物联网(IoT)。在赋予所有感知设备一个 独一无二的IP地址后,PEIM可以对所有设施进行大量的有标记的数据采集,数据在经过清洗整理后,被传送到ZNV中兴力维的"深度认知(Deep Recongnition)"机器深度学习引擎进行学习和认知,帮助客户提供更高品质的服务。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-07-05 16:16:32
市场情报 出海记|那些年,中兴力维虏获了哪些客户的“芳心”!
从前不久英国伦敦发生货车当街冲撞事件,造成数十人伤亡,再到近期华裔学者遭遇绑架,类似安全事件层出不穷,各个国家政府和市民对此都十分关注。作为综合解决方案管理商, <详情>
2017-07-03 15:39:12
运维管理 DCIM工具对于数据中心迁移到IDC时需考虑的
在数据中心多年的发展进程中,发展已经不可避免地来到拐点(转折点),是购买数据中心还是租赁数据中心?该如何选择呢?业界人士不得不审慎思考、分析利弊,考虑是自建数据 <详情>
2017-06-28 14:35:31
UPS电力 机房蓄电池管理告急?看中兴力维如何解决!
对于机房基站来说,蓄电池组是相当重要的供电保障设备,对蓄电池组的监测、管理和维护也是运维工作中比较重要的内容,其重要性不容忽视。为了帮助用户实现更加高效的监测, <详情>
2017-06-02 10:22:46
市场情报 当DCIM遇上大数据:ZNV中兴力维“维统管”驱动IDC产业
中国数据中心市场在规模不断扩大的同时,正由野蛮生长迈向精耕细作,对运维管理的重视度与日俱增。另一方面,传统行业的数字化转型、物联网在工业领域的应用将带来远超以往 <详情>
2017-05-27 11:49:49
市场情报 直击|中兴力维携“三大法宝”闪耀2017贵阳数博会!
5月25日,2017中国国际大数据产业博览会开馆仪式在贵阳国际会展中心举行,作为目前全球唯一以大数据为主题高端专业展会,本届展会设置了大数据创新应用、大数据软件及服务 <详情>