基于Amazon Web Services的Greenplum 6:针对云进行了优化

Greenplum与Amazon Web Services通过合作已经可以轻松地实现Greenplum的部署和持续运维。这个功能非常有必要,但还不够。尤其是,我们已经投入资源使Greenplum实现真正的云原生化。这意味着,我们通过易于使用、可扩展、经济高效而又具有高性能的解决方案,获得了在云计算领域的优势。

基于公有云的Greenplum目前在性能方面可与专用裸机安装相提并论,但无需前期资本支出。它速度快、支持跨IaaS、属于混合云、开源且功能强大(而且在经济效益方面很有吸引力)!

我们优化了基于公有云的Greenplum 6,以更好地适用云原生模式,与AWS的合作,就是非常好的例子。

Greenplum针对云原生进行了优化

基于AWS的Greenplum具备以下架构属性:

  • 可通过AWS CloudFormation实现自动部署
  • 自我修复:如果任何虚拟机实例出现故障,系统会自动创建替换实例,然后执行端到端恢复过程。
  • 快照备份:EBS磁盘快照自动化功能让您能够以极快的速度执行数据库备份。
  • 独立于计算,在线增加存储空间。
  • 按需灾难恢复:将EBS磁盘快照复制到其他区域并在必要时仅调配一个灾难恢复集群。

Greenplum针对云托管进行了优化

运维体验如何?基于AWS的Greenplum非常适合公有云运维模型:

  • 暂停/恢复:仅在需要集群时为其付费。
  • 自动维护:自动执行常见数据库管理维护命令
  • 自动执行可选安装:一个命令即可安装各种可选组件。
  • 自动升级:新版本发布后,管理员会收到通知,并且可以选择通过一个命令进行升级。

性能优化是一项长期持续的任务,最新版本的基于AWS的Greenplum在这一领域又向前迈进了一步。我们来更深入了解一下如何平衡性能和计算支出。

Greenplum针对存储进行了优化

吞吐量(而非IOPS)对Greenplum磁盘性能至关重要。吞吐量以MB/s为单位,可使用Greenplum gpcheckperf进行观察。AWS还发布了性能和成本指标。摘要信息如下:

*us-east-1的定价。
对于ST1和SC1磁盘,我们还必须考虑基本吞吐量和突增吞吐量。随着卷大小的增加,基本吞吐量也会提高。

GP2和IO1

我们通过评估发现,与ST1和SC1存储相比,这些选项成本较高。另外,对于Greenplum等高吞吐量应用来说,这些不是最佳选择。

ST1和SC1

若要实现最高突增速度,SC1磁盘存储空间至少要达到3.125TB;对于ST1,至少要达到2TB。

如果您需要8TB数据,则可以使用2个SC1磁盘,每个4TB,这样可实现与1个8TB的ST1磁盘相同的突增吞吐量。不过,价格要比SC1磁盘便宜44%!采用我们的配置,您可以实现相同的突增性能,同时节省44%的资金。

Greenplum针对计算进行了优化

我们研究了AWS中提供的多种实例类型,最终确定R5系列的CPU、内存和EBS磁盘性能组合最适合Greenplum

R5系列:深入研究

2018年6月,Amazon发布了R5系列。这些实例是R4系列的升级版,速度更快且更经济实惠。与其他实例类型一样,EBS磁盘性能有相应的速度限制,如下表所示。

R5系列的主要功能特性:

r5.xlarge、r5.2xlarge和r5.4xlarge的磁盘吞吐量值相同。

r5.8xlarge的价格是r5.4xlarge的2倍,但磁盘吞吐量未达到2倍。

此图显示了各种R5实例类型的叠加方式。请注意,与r5.xlarge相比,r5.2xlarge在CPU、内存和成本改进方面提升了一倍。但是,磁盘性能没有区别,因为是相同的。

换句话说,r5.12xlarge的成本是r5.4xlarge的3倍,同时具备3倍CPU和3倍内存。

但是,r5.12xlarge提供的磁盘性能仅为r5.4xlarge的2倍。

因为我们与Greenplum进行了I/O绑定,所以最好使用3个r5.4xlarge节点而不是1个r5.12xlarge节点。采用SC1存储,相同成本可实现更高的吞吐量。

总结

我们确定,与使用一个ST1磁盘相比,使用多个SC1磁盘能以更低的成本实现同样的吞吐量。然后,我们发现,采用更小的实例类型,在成本一定的情况下,我们能够从集群获得更高的总吞吐量。

基于AWS的Greenplum的当前配置实现了上述结果,并对分段实例采用r5.4xlarge实例类型,每个实例3个SC1磁盘。即使采用相对较小的磁盘,也能实现该实例类型的最大吞吐量,同时节省资金。最终,与之前Marketplace上的产品相比,我们节省了44%的数据存储成本!

集群中的主节点通常不需要大量资源,因此可以使用容量较小但价格较低的r5.xlarge。r5.2xlarge和r5.4xlarge实例类型也可用于主实例,但较小的实例类型应该足够了。存储采用一个可调整为很小容量的SC1磁盘,不仅节省资金,还能提供出色的性能。

进行下一步:部署基于AWS的Greenplum

部署基于AWS的Greenplum比以往任何时候都更简单。选择“确定”即可查看AWS Marketplace中的Pivotal Greenplum自带许可(BYOL)和Pivotal Greenplum(按小时付费)产品。BYOL还可享受90天的免费评估期!

此外还有单实例选项,非常适合开发和测试用例。

关于作者

Jon Roberts是一位首席工程师,负责领导在AWS、Microsoft Azure和Google Cloud Platform Marketplace中部署Greenplum和Postgres的开发工作。在此之前(追溯到2010年),他一直担任平台工程和销售工程职务。在加入Pivotal之前,他已成为Greenplum客户三年。他拥有路易斯维尔大学的工商管理学士学位,非常优秀!

关注微信公众号

VMware 中国研发中心