中国IDC圈1月12日,2015年1月7-9日,第九届中国IDC产业年度大典(IDCC2014)(http://www.idcquan.com/Special/idcc2014/live/)在北京国家会议中心隆重举行。本次大会由工信部通信发展司、中国信息通信研究院(工信部电信研究院)、云计算发展与政策论坛、数据中心联盟指导,中国IDC产业年度大典组委会主办,中国IDC圈承办。作为国内IDC行业规模大、具权威性和影响力的盛会,此次大会再创辉煌,三天的会议参会人数超过8000人次。

从1月7日到9日连续三天,工信部相关领导、IDC企业、电信运营商、互联网企业、设备厂商等各行业精英齐聚一堂,以"大变革 新生态"为主题煮酒论道。其中希捷科技中国区云业务客户技术支持高级经理农天使应邀出席本次大会并发表了题为"创新的开放存储架构平台Kinetic"的演讲。

22

希捷科技中国区云业务客户技术支持高级经理农天使

以下为农天使演讲实录:

农天使:尊敬的各位来宾大家上午好,我是来自希捷科技的农天使。今天我给大家汇报的题目是"创新的开放存储架构平台Kinetic".

现在大部分的数据已经开始向云端转移,在国内比较著名的有360云盘,有百度云盘,并且有金山快盘,各种各样的云盘都可以方便的让大家把自己的视频、图片各种资料上传到云端进行存储。像视频和图片这种资料它的特点是一个非结构化的数据,2020年的时候将会有56%的数据逐渐的移到云端进行存储,在这些数据里面其中有90%,就是我刚才提到的视频、图片,包括电子邮件这类的非结构化的数据会存在云端,2020年容量将会达到6.5个Zettabyles.

一个tb是100个gb,1个pb是100个tb,eb再往上才是Zettabyles.意思是6.5个Zettabyles相当于是65个ebtb的数据。如果我们把它拿当前的主流硬盘4T的硬盘来存储,把硬盘肩并肩的放着可以绕赤道一周。当前主流的商业蓝光的电影2个小时它的存储空间,根据压缩率的不同大概是15G到25G之间,如果把这6.5个Zb存储蓝光电影,接近6万年才可以看完,所以这是一个非常大的数据。这仅仅是2020年存储在云端的非结构化的数据。

如果用当前的存储架构来对这6.5个Zb进行存储的话需要多少成本?如果用当前传统的存储架构来存储的话,6.5个Zb一年采购的费用,加上运维的费用,加起来是2400亿美金。尊敬的各位来宾,我们知道现在每年全球X86服务器市场生意的规模也就是500亿美金左右,2020年我们需要存储这些非结构化的数据就已经是接近5倍的样子了,这是非常大的挑战。我们怎么样才能做到到2020年6.5个Zb的非结构化数据进行存储,并且有效的节省成本,其中开源就是一个很好的路子,来降低费用提高效率。在开表的社区里面有OTC项目,有openstack,都是一些很好的实践,包括现在国内已经有了开放数据中心委员会,跟天蝎项目组紧密的合作,也是为了解决大数据带来的挑战,我们做的多方面的努力都是非常好的尝试。

希捷科技作为数据的守护者,我们的目标就是帮助大家能够很方便的存储数据、获取数据,作为一个数据的守护者。希捷针对我们面临的大数据的挑战也提出了创新的开放存储架构平台Kinetic,这就是我今天要跟大家汇报的部分,就是为了解决我们面临的挑战。

现在来看Kinetic的生态系统是这个样子的。业界报道的时候会把它称为业界第一个Key/Value形式的以太网硬盘,我们的合作伙伴有Basho等,我们的硬件合作伙伴有HP、戴尔等。在最终用户方面,这是一个做软件定义存储的公司,还有一家澳大利亚做主机托管服务的公司。需要请大家知道的是Kinetic远不是以太网硬盘这么简单,它也带来了存储架构的创新。

传统的架构应用程序为了获取实际的数据要经过四个层面,第一个层面从应用程序要到文件系统,文件系统是跑在存储硬件系统上面的,存储硬件才会通过存储卡把硬盘连接起来。所以我们的应用程序在调用或者搬动数据的时候要经历很长的道路,包括文件系统层以及存储系统层才会到硬盘设备。希捷的Kinetic系统把这一过程大大的简化,提高效率。怎么做到的,首先应用程序这一层是通过以太网的连接直接跟硬盘,也就是实际存储数据的设备连接起来。在标准的硬盘上面我们做了Key/Value的接口,通过以太网的硬盘能力跟它连接起来,这样真正实现了存储和计算的分离。

再来看一下它对现有网络架构的改变是什么。左边是一个现有的网络架构,这边是存储服务器,上面有存储服务器节点,包括SaaS扩展柜,通过机顶交换机连到数据中心的核心交换机,再连到用户端。Kinetic对网络架构、网络数据的流动没有带来任何的变化,而且它只是在存储服务器这一层做了简化,现在我们只需要一个Kinetic的盒子就可以了,以前我们是需要存储服务器再加上扩展柜。可以看到它不仅仅是一个IT硬盘这么简单,它其实是在架构层面把文件系统和存储服务器这两层给优化了,大大提高了我们实际搬动数据的效率。如果认真的研究,从我们数据实际搬动的情况来看,大概有90%数据的操作都是管理层面的开销,只有不到10%的动作才是真正的把数据从这个地方移到另外一个地方。所以希捷的Kinetic通过架构上面的创新可以帮助大家大大的提高效率。

来看一下Kinetic的价值所在,第一是性能方面,因为我们把它的应用程序到访问数据之间的整个路径优化了,所以它带来了4倍以上性能的提升。从存储的力度来看,我们现在已经有4U60可热插拔的柜子,现在在国内主流的应用还是2U12盘热插拔的柜子,做的比较多的是4U24的,还是2U12的密度,密度有很大的提升。现在做到4U60或者5U84盘可热插拔并不是它的一个局限,只是大家需要有多大的单路密度就可以做到多大。

由于我们从架构方面对它进行了优化,不用考虑文件系统层面的影响,也不用考虑raid驱动层面的影响,就可以很快的导入到应用里面去。因此这个Kinetic的架构可以带来两链以上新技术引入的缩短。

从我们的采购成本来看,从现有主流的设备来看至少有15%的节省,运维的成本,包括电费以及运维人员费用的成本来看,至少有高达70%的节省。从我们的总体应用成本来看,从主流市面上的机器来看有高达40%的成本。计算资源比较富余的地方就可以省点存储服务器了。

在一个42U的标准机柜里面,我们Kinetic的系统从主流已经可以发布的产品来看,它的密度有什么样的提升。一个柜子可以放208片硬盘,用Kinetic的柜子就可以放高达600个硬盘。

从完整的应用来看,这是我们在科罗拉多研究中心做的一个实例,上面跑了180片硬盘,左边是传统的架构右边是Kinetic的架构。我们做了公平的对比,并没有追求高密度,两个性能一样的情况下,可以看到总体应用成本节省了12.7%.我们把42U机柜布满,给出500pb,节省接近40%.我们的评价并没有追求整体密度的提升,因为部署的过程中考虑到密度的提升还会有更进一步的节省。

在平均的运行功耗方面节省了45.5%,在每年实际的电费支付方面节省了61%,所以算起来总体应用成本节省了接近40%.如果我们做一个Pb的解决方案来看,这边是传统的架构,这边是使用了Kinetic,总的节省到了36%.因此在实际部署实施的情况下,我们很有信心Kinetic的方案可以给大家带来百分之三、四十的节省。

这是最终用户应用的实例。Digital  Sense是一家澳大利亚提供主机服务和托管的运营商,在澳洲跑了33个数据中心,并且在过去的五年里面有高速的增长。用过我们的Kinetic以后,他的评价说Kinetic是非常容易,而且快速的来集成和部署。Kinetic在他那边用的非常顺手,这个公司比较新,对新技术的引入比较敏感,也可以快速的导入。用了Kinetic以后能够给他带来很大性能的提升,并且他认为这是一个真正的分布式的网格形态的存储架构。

具体来说,他认为在安全方面Kinetic给他带来了更大的安全保障,因为Kinetic可以有更高层面安全的管控,而且还有客户定制的冗余,还有客户定制化的管控,这些方面都做的非常好。在简化方面,已经不用考虑传统的SaaS的东西能够大大的简化,并且研发和应用都比以前大大的简化了。在性能方面,他的评价是非常好的发挥了实际网络的效能,以前用传统的存储架构是做不到的。在成本的节约方面也给了很高的评价,他认为Kinetic架构相对于市面上最贵的存储架构能有10倍的提升。

这是一家做云端数据备份和恢复的公司EVault,这家公司面临的挑战是每个小时就需要有3.6tb的数据进来,必须要能够很方便的横向扩展到几个pb量级存储的架构。他们经过评估Kinetic架构能够很好的对他的挑战有一个支持,目标是用两台代理服务器来管理高达1pb数据的容量。

由于时间关系,今天在这儿没有办法把Kinetic掰开了揉碎了讲,不要紧,在我们的网站上有很多很丰富的资料,包括我们的模拟器,大家可以玩一下。欢迎大家访问希捷观望搜索Kinetic.

总结,我们的Kinetic给大家带来了更低的总体应用成本,另外它可以实现计算和存储实现分离,大大提高了我们获取移动数据的性能和效率。欢迎大家在希捷的网站上获取资料。

我今天的汇报就到这里,谢谢大家!

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-09-25 09:52:00
市场情报 新华三关天舒:全面重构存储系统,释放AI时代全新数据价值
面向未来,新华三集团拥有一个完整的重构存储系统计划,推动存储产品不断重构、进化。 <详情>
2022-04-14 15:44:09
市场情报 2022分布式存储线上峰会成功举行,驱动中国数据要素市场发展
4月14日,“2022分布式存储线上峰会”成功举行。本次峰会由百易传媒(DOIT)与厦门大学信息学院联合主办,中国计算机学会信息存储专委会、中国计算机行业协会信息存储与安 <详情>