今日获悉，腾讯云数据库2篇论文入选国际数据库顶级会议ICDE。其分布式事务协议——Lion和内存-磁盘跨越索引设计框架，解决了数据库领域的普遍难题，技术创新获得国际权威认可。
（腾讯云数据库团队在ICDE会场进行技术分享）
据悉，ICDE（IEEE International Conference on Data Engineering）是数据库研究领域历史悠久的国际会议，与SIGMOD、VLDB并称数据库三大顶级会议，也是中国计算机学会(CCF)推荐的A类国际会议，主要聚焦设计、构建、管理和评估高级数据密集型系统和应用等前沿研究问题。
如今，分布式数据库已成为企业存储和管理海量数据的重要工具，在分布式事务处理过程中，常常涉及多轮跨节点的通信，处理速度较慢。过去为提高性能，业内多通过迁移将分布式事务转换为单节点事务，但基于迁移的方法可能会因等待数据迁移而导致事务被阻塞，而超级节点可能会成为瓶颈。
此次，腾讯云和中国人民大学合作入选ICDE的论文《Lion: Minimizing Distributed Transactions through Adaptive Replica Provision》，则为这一难题提出了一种新颖的事务处理协议——Lion。作为一种自适应的副本放置机制，Lion利用基于分区的复制来减少分布式事务的发生。该机制增强了基于LSTM的工作负载预测算法，以确定定位共同访问分区的副本的适当节点。通过采用这种自适应副本放置策略，可以确保大多数事务可以在单个节点上高效处理，而无需额外的开销。因此，Lion有效地最小化了分布式事务，同时避免了由数据迁移或超级节点的创建引起的任何中断。大量实验结果显示，Lion与各种先进的事务处理协议相比，吞吐量提高了最多2.7倍、可扩展性提高了76.4%。
ICDE评审委员会也对论文研究成果给予了高度认可，认为Lion所提出的调整策略考虑了历史信息和未来工作负载的变化，并经过全面性评估实验，不仅可显著提高分布式数据库系统的吞吐量，技术先进性还在大部分情况下超越了数据迁移技术、不对称复制方法和确定性方法等。
另外，针对数据库系统中，索引可能会消耗大量内存而无法完全存放的难题，腾讯云联合德州大学阿灵顿分校，在入选ICDE论文《IndeXY: A Framework for Constructing Indexes Larger than Memory》中，提出了名为IndeXY的内存-磁盘跨越索引设计框架。该框架解耦了索引内存部分和磁盘部分的设计，精心设计内存部分向磁盘的选择性卸载并优化了磁盘重新加载索引并保留在内存的策略，以最大化优化内存访问机会和效率。
该框架允许单独采用一个内存索引设计，以及一个被认为最适合其工作负载的磁盘数据组织和访问方案，实验显示，这一设计可将TPC-C工作负载提高高达8.6倍的吞吐量，且可以提高几乎所有YCSB工作负载的性能。
ICDE评审委员会认为，该论文解决了Index在内存索引必须溢出到磁盘时索引效率的关键问题，为企业提供了一个可按需选择的组合方案（任何基于内存的索引IndeX+任何基于磁盘的索引IndeY），且内存和磁盘上的索引都可以单独进行优化。
作为国产数据库行业的先行者，腾讯云至今已经深耕数据库领域十余年，服务客户数超过50万，覆盖金融、政府、电商、游戏等众多行业。未来，腾讯云也将持续创新技术，打磨产品和解决方案，为更多企业提供高可靠、高可用、高安全的数据库服务，加速企业数字化升级与业务创新。
热门专题
