2021年是中国十四五计划的开局之年,在《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》中明确提出:“要推进数据要素市场化改革、加快数字化发展”,从而将数据要素提升到一个全新的战略地位。
如何激活数据要素潜能,推进网络强国建设,加快建设数字经济、数字社会、数字政府,以数字化转型整体驱动生产方式、生活方式和治理方式变革,是数字中国最为艰巨的任务。而推动数据要素价值转换自然离不开云原生数据基础设施的支持。其中,以存算分离、支持多协议的弹性文件存储、高效的近数据计算技术为代表,新技术应用将助力不同行业企业用户大程度释放数据价值。
存算分离释放无尽算力
大数据技术最初的形式是计算和存储捆绑,强调的就是数据贴近计算,技术核心是HDFS+MapReduce数据管理方式,如今,大数据技术有了进一步发布,从计算和存储捆绑走向了存算分离设计,从而让Hive、HBase等大数据应用迎来新的发展契机。
以华为云Big Data Pro大数据离线分析解决方案为例,计算、存储单独扩容,因此会减少不必要的资源浪费。华为云Big Data Pro通过存储无感扩容,可消除预留容量浪费,多种协议支持也减少数据多次复制的现象。存算分离,分布式存储跨可用区容灾,使得数据持久度高达12个9,数据可靠性更有保障。
从数据贴近计算到如今存算分离,这种截然相反的变化,大家是不是也会感到奇怪呢?剧情“反转”背后的主要原因是什么?
或者说,存算分离还能够满足近数据计算的要求吗?
为此,我也询问了华为云文件存储服务总经理崔林威。
崔林威表示:存算分离仍然能够满足类似近数据计算的需求,其中很重要的原因是网络技术突飞猛进的发展,这同时也为存算分离提供了基础。不论是近数据计算,还是存算分离并不改变上层HDFS+MapReduce的结构。相比传统方式,华为云BigData Pro在计算存储分离基础上,提供了多协议互通、高可靠等优势。
多协议弹性文件存储冲破传统协议局限
SFS(Scalable File Service)是一种弹性文件服务,不仅可以提供大数据、文件接口,例如与云内的MRS、DLI等数据分析服务提供存储服务,也可以通过NFS/CIFS协议或者POSIX客户端为云内部署的视频编辑、基因分析、油藏模拟、设计仿真等软件提供数据。
“可以把数据理解为一瓶矿泉水,跨协议访问就可以理解为多几根吸管儿。” 崔林威说。
SFS是业界首个支持NFS/CIFS/对象/大数据等多协议接口的存储服务,是一种高性能文件存储(NAS),为基因分析、视频制作/渲染、地球物理、文件共享、内容和Web服务等业务场景提供共享数据访问存储服务。SFS冲破传统NAS只有私有数据存储协议的局限。
例如在视频制作/渲染场景中,华为云与芒果TV探索出了一条更低成本、更实用的制播方案,打造出业界首个基于云服务打造的4K综艺节目——“乘风破浪的姐姐”第二季。
借助SFS混合云解决方案能够兼容对象接口特性,直接将拍摄视频通过对象存储上传到华为云,在云上通过文件接口对视频进行转码、合成、调色、渲染等系列处理后,直接分发到对应播放平台进行播放。节目制作时间缩短了50%,按需付费的云上资源,相对于自建IT系统,节省了90%的初始投资。作为电视机前的观众,可以看到姐姐们清晰的服装细节和每一根睫毛,让电影的质感得以在周期要求高、成本管控严的综艺节目中呈现。
近数据计算有效缩短数据处理时间
华为面向公有云用户提供数据工坊(Data Workroom)近数据处理服务,可将图像水印、图像转码、视频转码、内容审核、火点发现等数据处理业务,通过数据处理算子市场或者数据处理工作流编排实现近似流水线的操作,如此可大大缩短互联网客户业务开发周期,通过简单的托拉拽即可,也降低了开发/运维难度,效率提升90%。
如今,数据工坊开放算子库中有大量高质量的华为自营算子,也有海量第三方算子,无论是进行图片转码还是视频截帧,你都能轻松找到适用的算子来完成数据处理工作流。 通过算子下推技术,在近数据的地方进行数据处理,省去数据在存储与计算直接的传递,数据处理时间缩短50%。
小结
我们即将迎来数据4.0时代,更进一步推动数字经济发展,其特点是从物联网时代的物产生数据升级为将人脑构想、世界里大多并不存在的虚拟空间构成数据,映射到信息空间,数据存储需求将喷涌而出,作为全新的数据载体,云原生数据基础设施将紧随时代发展作出反应变化,在算力、弹性存储为关键指标的元宇宙时代,期待华为云的精彩表现!
热门专题
