Pivotal Greenplum 5.4特性简介-优快云博客

本文链接：https://blog.youkuaiyun.com/gp_community/article/details/109896971

Pivotal Greenplum 5.4介绍

Pivotal Greenplum 是基于MPP架构的数据库产品，它可以满足下一代数据仓库对大规模的分析任务的需求。通过自动对数据进行分区以及多节点并行执行查询等方式，它使一个包含上百节点的数据库集群运行起来就像单机版本的传统数据库一样简单可靠，同时提供了几十倍甚至上百倍的性能提升。除了传统的SQL，Greenplum 还支持MapReduce，文本索引，存储过程等很多分析工具，所支持的数据量可以从上百GB到几百TB。

Greenplum 5.4.1可以从这里下载（https://network.pivotal.io/），文档在这里（https://gpdb.docs.pivotal.io/540/main/index.html），主页在这里（https://greenplum.org/），源代码在github（https://github.com/greenplum-db/gpdb）。

新特性支持

Gpstop工具增强

gpstop增加了--host选项，如果Segment设置了镜像（mirror），gpstop可以在指定的主机上结束Greenplum数据库的Segment实例。当Primary节点被终止后，对应Mirror节点上的Segment实例升级为Primary节点。

在下列情况下Segment实例不会被终止：

没有Mirror
Master或者standby master节点也在指定的host上
Primary和Mirror在同一个host上

PL/Container/Language 扩展

PL/Container在Redhat/CentOS上升级为正式功能，不再是实验功能
优化了plcontainer工具，提高了易用性
新函数 plcontainer_containers_summary() 可以显示当前运行的容器信息
PL/Container 的配置文件格式有改变，新老配置不兼容
数据库的GUC参数log_min_messages可以控制PL/Container 的log行为

试验特性

Pivotal Greenplum是基于开源的greenplum-db发布的，它包含了正在开发中的很多激动人心的功能，任何针对这些功能的反馈都会推进我们改进相关功能，并在将来的版本中正式支持。Greenplum 5.4.0/5.4.1中有如下实验功能：

gpbackup/gprestore

gpbackup/gprestore工具提供了更好的备份和恢复的性能（相比于gpcrondump和gpdbrestore）。gpbackup在访问pg_class时只使用了共享锁（ACCESS SHARE),而不是排他锁，因此在备份的时候仍可以对其他表运行DDL操作，比如 CREATE, ALTER, DROP, TRUNCATE

gpbackup/gprestore升级到了alpha3版本，它采用单个文件保存数据库元数据。它的格式与alpha1和alpha2不再兼容

gpbackup支持了 -include-table schema.table 和 -exclude-table schema.table 参数来选择对哪些表执行备份操作

Recursive CTE

CTE（Common Table Expressin）定义了一个可以在同一个查询里重复使用的临时表，可以大大简化SQL语句。Greenplum 5.1.0中CTE定义支持了recursive关键字，从而允许在CTE定义时可以递归的引用自己。

SUSE平台上基于Resource group的资源管理

由于内核版本限制，SUSE11上的cgroup无法提供Resource group运行所依赖的功能，SUSE12解决了启用cgroup以后引起的Greenplum性能问题。

PXF的增强

支持允许PXF向HDFS写文本和序列化文件

改变的功能

Madlib 1.13更新

Madlib1.13支持Greenplum5.4，在升级到Madlib1.13时，需要注意先删除knn函数

默认参数调整

参数optimizer_join_arity_for_associativity_commutativity 的默认值增大为18。

这个参数限制在生成查询计划时，ORCA尝试使用的join交换律和结合律变换的数目。当前ORCA会只最多尝试18中变换组合。当一个查询有很多的join条件时，降低这个值会大大提高性能；但是这个值过低，会导致ORCA生成的次优的查询计划。需要注意的是当 optimizer_join_order 为query或者greedy时，optimizer_join_arity_for_associativity_commutativity是不起作用的。

与开源版的比较

商业版的Greenpum除了包含了开源版本的全部功能，此外还有以下增强的功能：