PPT | 异构数据库到数仓实时同步方案

伴随着大数据技术的兴起和发展,数据湖的概念也越来越热。数据湖的概念指出,数据无需加工整合,可直接堆积在大数据平台上,由最终使用者按照自己的需要进行数据处理。这与传统的企业数据仓库则强调的是整合、面向主题、分层次等思路完全不同。但一个共同的趋势是,T+1的数据分析模式越来越难以满足业务的需求, 实时性成为业界共同关心的话题。 Greenplum创新的MPP架构使得数据分析速度得到革命性的提升,相对的,数据实时地从各种异构数据库平台集成到大数据/数据湖就成为实时分析面临的挑战。 Greenplum全球合作伙伴HVR的中国技术总监顾全带来了《异构数据库到数仓实时同步方案》的精彩演讲。

演讲大纲:

1.对数据湖的理解和定义(Greenplum是其中一种) 2. 大数据实时集成方案应该具备的功能和特点 a) CDC的复制技术 b) All-in-ONE Box的解决方案(初始化同步,增量同步,数据比较和监控) c) 软删除和时间戳复制(拉链表) 3. HVR在Greenplum上的案例(GE、天天拍车) 可点击下面翻页按钮查看PPT内容。PPT较大,加载时间较长,请耐心等待。

下载链接:

https://cn.greenplum.org/wp-content/uploads/2019/09/Pivotal_HVR_meetup_20190816-converted.pdf

嘉宾介绍:

顾全,HVR中国技术总监,中国科学技术大学计算机科学学士,上海交通大学MBA, 18年IT从业经验,专注于数据库技术领域,自2003年开始从事数据库实时复制技术的解决方案。2013年至2015年在SAP担任大数据和BI解决方案资深技术顾问,2015年加入HVR中国公司担任技术总监。

关于Greenplum

Greenplum 是全球领先的开源大数据平台,是能够提供包含实时处理、弹性扩容、弹性计算、混合负载、云原生和集成数据分析等强大功能的大数据引擎。 如今,Greenplum被广泛运用于大规模商业智能和分析中,其优秀的数据存储、处理和实时分析能力为用户打通了业务-数据-洞见-业务的闭环,适用于包括硬件裸机、容器、私有云和公有云各种运行环境。随着近期Greenplum 6.0版本的即将发布,Greenplum拥有了更强的HTAP能力。 2019年,Greenplum被Gartner评为全球排名第三的分析型数据库和排名第四的实时分析数据库,且为前十名中唯一的开源产品。据中国信息通信研究院数据,参与信通院评测的14款MPP数据库中43%都是基于Greenplum14%基于PostgreSQL。Greenplum成为新一代大数据技术的引领者。

关注微信公众号

VMware 中国研发中心

Greenplum官方技术交流群

扫码添加小助手即可入群,添加时请备注 “GP网站”