数据库顶级学术会议SIGMOD一撇:Greenplum的混合负载之路

ACM SIGMOD,数据管理国际会议(Special Interest Group on Management Of Data.)是由美国计算机协会(ACM)数据管理专业委员会(SIGMOD)发起,在数据库领域具有最高学术地位的国际性学术会议。

6月20日-25日,2021 SIGMOD大会第二次走进中国,在西安成功举办。本次活动汇聚各大数据库厂商,以及来自包括清华、北大、中科大等各大顶级学府的参与。

而VMware Greenplum作为会议赞助商之一,在会场准备了展台。除了向参会人员展示了Greenplum的技术实力之外,也与参会的学术界与工业界的小伙伴进行了充分的交流。

本次会议中,Greenplum数据库内核团队的论文《Greenplum: A Hybrid Database for Transactional and Analytical Workloads》成功入选SIGMOD的收录论文。在本篇论文中,Greenplum团队对如何将纯OLAP数据库转换为HATP数据库进行了广泛的讨论和研究,详细分析了如何在保证ACID(保证数据的原子性,一致性,隔离性和持久性)的同时,最小化由此造成的开销。

传统数据库领域包含两大业务场景:OLTP和OLAP。过去,两大业务场景需要依赖不同的数据库产品,数据在不同数据库之间融通的过程中往往容易产生数据孤岛、数据的时效性、数据的一致性等问题。由Gartner提出的HTAP数据库(混合事务/分析处理,Hybrid transactional and analytical processing)是近年来数据库领域的一个热门方向,由HTAP数据库提供的实时分析能力已经成为企业的核心竞争力之一,大概可以有几个路径:在OLTP系统里增加AP的能力从而转向HTAP,从NewSQL转向HTAP。而Greenplum的论文则展示了怎样从OLAP系统转向HTAP,对业内数据库发展和演进有极大的启发和参考意义。论文中提及的技术成果均已应用在最新版本的Greenplum中,而论文被代表了数据库前沿技术的SIGMOD收录也充分证明了Greenplum的HTAP能力。

在会议中,论文作者之一吕正华对论文内容进行了直播剖析,详细介绍了Greenplum的HTAP演化之路,包括引入全局死锁模块优化DML的并行度,分布式事务的优化,提升系统吞吐量和延迟以及基于资源组的OLTP负载和OLAP负载资源隔离等。为了让社区小伙伴更方便的观看学习,相关视频已经上传至Greenplum中文社区B站频道。

链接是:https://www.bilibili.com/video/BV1sB4y1T7ng

Greenplum的混合负载之路,道阻且长,行则将至!

关注微信公众号

VMware 中国研发中心