6 Pivotal Greenplum 6.0 新特性介绍

最新推荐文章于 2024-01-31 14:31:36 发布

原创

最新推荐文章于 2024-01-31 14:31:36 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

Greenplum6.0升级至PostgreSQL9.4内核，新增HTAP性能提升、复制表、在线扩容、磁盘配额、Zstandard压缩算法、灵活数据分布及基于流复制的高可用机制，旨在优化大规模数据处理与分析。

Pivotal Greenplum 6.0 新特性介绍

Pivotal Greenplum 6.0 新特性介绍1. PGSQL版本升级2. HTAP （OLAP + OLTP）性能大幅提升3. 支持复制表（Replicated Table）4. 在线扩容（Online expand)和一致性哈希（Jump Consistent Hash）5. 磁盘配额（Disk Quota）6. 支持Zstandard压缩算法7. 灵活数据分布8. 基于流复制的全新高可用机制

文章来源：企鹅号 - Pivotal中国研发中心

在1月12日举办的Greenplum开源有道智数未来技术研讨会上，Pivotal中国研发中心Greenplum 产品经理李阳向大家介绍了Pivotal Greenplum 6.0 新特性。

Greenplum是Pivotal公司投入研发十多年，基于开源PostgreSQL数据库开发的一款Share-Nothing架构的分布式MPP数据库，具备高并发、高可用和高灵活等多种特性，可以对大任务、复杂任务进行快速高效计算，恰到好处地满足并行数据计算性能和海量数据管理的需求，目前在金融、电信、零售等领域有着广泛应用。

Greenplum 6在升级PostgreSQL内核至9.4版本的同时，增加了大量新特性，包括基于WAL日志的mirror同步、分布式死锁检测、复制表、在线扩容、磁盘限额、自动master切换、zStandard压缩、GP-GP集群间高效查询等，在此次演讲中分析介绍了这些新特性。

1. PGSQL版本升级

Greenplum最开始基于 PGSQL 8.3（开发时最新），已经有近十年的时间（最早的8.3在2008年，参考https://www.postgresql.org/docs/8.3/release.html ）。在此期间，PGSQL演化的速度是非常可观的，尤其是从2015年之后，每年一个大版本的迭代更新，都会有很大性能上、功能上的提升，各种特性层出不穷。而这些，却无法在Greenplum直接体现。

原因在于，Greenplum在PGSQL 8.3内核中直接修改，而不是类似CitusDB等采取插件的方式。这样的好处是，能够充分修改优化器、执行器、事务、存储等各个模块，达到最优的效果；坏处自然也很明显，与PGSQL社区长期脱节，无法充分利用社区红利。

也因此，在Greenplum中升级PGSQL版本是非常痛苦的一件事。而且，Greenplum长期处于闭源状态，其内部开发者对此的动力未必足够。有意思的是，Greenplum在开源之后，有些PGSQL社区的老杆子参与进来，也引来了不少原来使用PGSQL的客户。自然而然地，会更多地考虑升级PGSQL的版本。如今，也算是众望所归。

PGSQL版本升级带来的好处是很明显的，且不说第一个特性“内核升级”里带来的诸多特性，后面的“2. HTAP （OLAP + OLTP）性能大幅提升”和“8. 基于流复制的全新高可用机制“多多少少都跟这个有关系。而在这些特性中，安全性、权限管理增强、JSONB（应该是由我们的PGSQL团队提交的PATCH）、GIN索引、SP-GiST索引、并行vacuum、CTE等，都是属于客户比较期待的功能。