7月9日，以“数据新要素 产业新动能”为主题的大数据产业峰会线上直播正式开启。会上，中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书，华为云FusionInsight MRS超大规模单集群以测试项全部满分的成绩顺利通过评估，并成功突破单集群2万节点的超大规模，树立行业新标杆。
中国信通院大数据产品评测是国内权威的大数据评测体系，评测范围涵盖大数据产品的基础能力与性能专项，历经六年的蓬勃发展，大数据产品认证已经成为政企客户选购选型过程中的重要参考，是业界衡量大数据产品质量和能力的重要标准。
华为云FusionInsight MRS大数据为政企客户提供一站式企业级大数据平台，满足客户对全栈大数据平台高性能、低成本、灵活易用的诉求，助力企业快速构建海量数据信息处理系统。在本次评估测试中，华为云FusionInsight MRS一次性通过了27个必选用例，此外，在集群无宕机升级、双集群互备、运维监控模块失效及恢复、跨数据库关联操作、在线水平搜索能力等六个可选用例中也实现了一次性通过，100%的通过率使得FusionInsight MRS在本次评估测试中交出了一份完美的答卷。
丰硕的成果离不开辛勤的劳作，在整个研发过程中，华为云FusionInsight MRS超大规模单集群的实践也遇到了诸多挑战，华为云大数据研发团队凭借雄厚的研发实力和丰富的探索实践经验，通过以下七个方面实现了业界首个单集群突破2万+规模，具体如下：
运维管理架构改造：将原来的集约主从模式调整成了可弹性伸缩的分布式模式，提升了主备模式的监控、告警、配置、元数据存储模块的性能，成功解决了运维管理面临的难题。
Superior超级调度器：自研调度引擎，支持35w/s个Container的调度速率，资源利用率达到98%以上，超出开源Capacity的能力近一倍。
文件对象管理优化：利用合并单次读写流程中的交互次数、使用改良的数据通信压缩算法、DataMovementTool等技术方案，在确保文件对象管理性能的同时，自动均衡不同命名空间之间的数据，大大降低了集群维护成本。
多租户的资源隔离能力：支持标签存储、多服务、多实例、DN分组等方式进行细粒度隔离，提升多租户的资源隔离能力。
元数据优化：支持分布式缓存Redis方案，结合分布式锁、缓存黑白名单机制、缓存生命周期管理等技术手段突破了Hive服务的元数据读写性能瓶颈，使得元数据能够在大规模的单集群上规模商用。
跨AZ的网络带宽消减：存储上提供感知AZ的文件存储策略，计算上提供感知AZ的任务调度机制，优先在同AZ下进行存储与计算，减少跨AZ的网络带宽消耗。
可靠性增强：支持多种机制保障任务的可靠运行，如Hive不中断业务的能力可确保发生异常时任务不中断；Application Master的断点续传能力可记录任务状态，待AM恢复后继续执行。
得益于以上七个方面的大数据技术增强与优化，华为云FusionInsight MRS顺利通过信通院分布式批处理平台基础能力测试，节点规模达21000，成为业界首个单集群突破2万节点的商用大数据产品。
华为云FusionInsight已是60+国家，3000+客户的共同选择，广泛布局于政府、金融、安平、大企业、互联网等领域。FusionInsight联合800+合作伙伴，践行“平台+生态”战略，释放政企数据价值，让数据“慧”说话，使企业更智能。
热门专题
