教您正确使用最新版本的Greenplum 官方监控工具(GPCC)

Greenplum Command Center,或者简称GPCC,是Greenplum原生的图形化运维管理工具。在最近3年来的开发中,基于全新的界面和用户体验,陆续推出了监控、历史数据、管理的功能,在众多商业用户上得到了广泛的应用和认可。

随着Greenplum 6.0的发布,Greenplum Command Center(也称为GPCC)也在新的版本中抵达了一个新的里程碑。我们跳过了版本5,并为GPDB 6.0发布了GPCC 6.0。对于GPDB 5.x用户,我们发布了4.8.0。这篇文章中将讨论GPCC用户应注意的一些新变化。

1. 启用历史数据收集

GPCC实时从GPDB集群收集查询性能数据和系统指标,并将数据存储到其自己的历史数据库中。自版本4.6.0起,历史记录功能已在GPCC中提供。但在4.8.0 / 6.0.0之前这个功能默认是关掉的,而且GPCC会依靠旧的gpperfmon实用程序来收集一些数据。现在从4.8.0 / 6.0.0开始,GPCC会收集所有历史数据,并且默认情况下会打开历史记录。由于与旧的gpperfmon历史记录相比,它具有更好的性能和更多的历史指标数据,因此我们还建议用户关闭gpperfmon。

默认情况下,GPCC历史记录会捕获所有查询。如果用户没有兴趣,可以将其设置为跳过短于某个时间阈值的查询。除了查询历史记录之外,GPCC现在还可以收集gpperfmon之前收集的系统指标,磁盘使用历史记录和pg日志历史记录。历史数据将保存到gpperfmon数据库的gpmetrics SCHEMA下的某些表中。请检查GPCC文档以获取有关这些表的详细说明。

当您需要从UI上没有提供的历史数据中获得一些见解时,可以查询这些数据库以获得帮助。下面是一个示例,用于确定今天执行的查询中使用 SLICE 数量最多的前100个。这可以帮助识别写得不好的查询或者设计不正确的表。

2. 停用gpperfmon

Gpperfmon是GPDB的旧的监控解决方案。与GPCC相比,它具有一些缺点,如果您使用GPCC 4.8.0或6.0.0,建议将其关闭。以下是可以帮助您了解我们为什么提出此建议的证明。

我们针对4种配置运行了pgbench(SELECT ONLY,持续15分钟):这4种配置分别为:启用gpperfmon和GPCC历史记录的GPDB;仅启用GPCC历史记录的GPDB;仅启用gpperfmon的GPDB和没有启用监控的GPDB。事实证明,启用gpperfmon对总的TPS有很大影响。我们还在Google Cloud Platform上对4种类型的实例进行了测试。结果表明,如果启用gpperfmon,即使在强大的基础架构上运行,性能提升也非常有限。但是当它关闭时,TPS明显增大。

如果停用gpperfmon,请确保GPCC的历史数据收集是启用的。gpperfmon收集的旧数据仍将显示在GPCC中,并且无需迁移gpperfmon数据。但是,如果您有一些现有脚本使用旧的gpperfmon表中的数据,则其中的某些脚本可能将不再更新。例如,关闭gpperfmon时,那些名为* _now和* _tail表将不再更新。但是您可能会在gpmetrics SCHEMA 下的其他一些表和视图中找到所需的数据。有关该 SCHEMA 下内容的更多信息,请点击阅读原文参考文档,以帮助您修改脚本以获取更新的数据。

gpperfmon_install实用程序也可以由新的GPCC安装程序代替。GPCC安装程序现在具有用于GPCC初始化的gpperfmon_install功能,包括创建gpperfmon数据库和gpmon用户。除了一件事,使用gpperfmon_install,用户可以选择以明文方式指定gpmon用户的密码。GPCC安装程序没有该选项。但是,用户可以使用“ -W”选项来输入初始密码(不会保存在任何地方),或者不使用“ -W”选项从而获得默认密码(保存在.pgpass文件中)。

3. 升级更轻松

过去,升级GPCC通常需要升级GPDB,这一先决条件常常使用户无法升级到新的GPCC版本。GPCC 6.x用户将不再面对这种情况。我们将使每个GPCC 6.x版本都能与所有GPDB 6.x版本一起使用。如果不升级GPDB,则可能不会获得一些新指标,但仍可能会得到错误修复和一些新功能。对于GPCC 4.x用户,如果您使用的是GPDB 5.19及更高版本,现在可以升级到GPCC 4.8.0而无需升级GPDB。而且我们也会尽量保证将来的GPCC 4.x版本也不需要升级GPDB。

4. GPCC有新家啦!

现在,我们在Pivotal Network上有了新的目录。请去那里获取最新版本。目前仍然可以从GPDB的目录下载GPCC,但不久之后我们将停止在该位置上载。


关于Greenplum

Greenplum 是全球领先的开源大数据平台,是能够提供包含实时处理、弹性扩容、弹性计算、混合负载、云原生和集成数据分析等强大功能的大数据引擎。

Greenplum 基于MPP(大规模并行处理)架构构建,具有良好的弹性和线性扩展能力,并内置并行存储、并行通讯、并行计算和优化技术。同时,Greenplum还兼容 SQL 标准,具备强大、高效、安全的PB级结构化、半结构化和非结构化数据存储、处理和实时分析能力,可部署于企业裸机、容器、私有云和公有云中。值得一提的是,作为OLAP型的大数据平台, Greenplum同时还能够支持涵盖OLTP型业务的混合负载,从而帮助客户真正打通业务-数据-洞见-业务的闭环。

目前,Greenplum 已经为国内外各行各业客户所广泛使用,支撑着全球各大行业的核心生产系统,其涉及领域涵盖金融、保险、证券、通信、航空、物流、零售、媒体、政府、医疗、制造、能源等。

如果你对分布式数据库内核感兴趣,希望成为贡献者或commiter,可以从这儿开始!Greenplum社区期待您的参与!

关注微信公众号

VMware 中国研发中心

Greenplum官方技术交流群

扫码添加小助手即可入群,添加时请备注 “GP网站”