Pivotal Greenplum 5.5特性简介

最新推荐文章于 2020-12-26 21:09:37 发布

Greenplum中文社区

最新推荐文章于 2020-12-26 21:09:37 发布

阅读量515

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据 python mysql java

本文链接：https://blog.youkuaiyun.com/gp_community/article/details/109896931

Pivotal Greenplum 5.5 于2018年2月18日正式发布，让我们通过这篇文章带你走进5.5的新特性。

Pivotal Greenplum 5.5介绍

Pivotal Greenplum是基于MPP架构的数据库产品，它可以满足下一代数据仓库对大规模的分析任务的需求。通过自动对数据进行分区以及多节点并行执行查询等方式，它使一个包含上百节点的数据库集群运行起来就像单机版本的传统数据库一样简单可靠，同时提供了几十倍甚至上百倍的性能提升。除了传统的SQL，Greenplum还支持MapReduce，文本索引，存储过程等很多分析工具，所支持的数据量可以从上百GB到几百TB。

Greenplum 5.5.0可以从这里下载（https://network.pivotal.io/），文档在这里（https://gpdb.docs.pivotal.io/550/main/index.html），主页在这里（http://greenplum.org/），源代码在github（https://github.com/greenplum-db/gpdb）。

新特性支持

gpbackup和gprestore工具

Greenplum'新的备份和恢复工具gpbackup/gprestore在从实验特性变为正式支持的功能。gpbackup/gprestore工具提供了更好的备份和恢复的性能及更高的可靠性（相比于gpcrondump和gpdbrestore）。它们从Greenplum 5.2版本开始作为实验特性就已经加入到了Greenplum的企业版发布中。gpbackup在访问pg_class时只使用了共享锁（ACCESS SHARE),而不是排他锁，因此在备份的时候仍可以对其他表运行DDL操作，比如 CREATE, ALTER, DROP, TRUNCATE，只要这些操作不影响正在执行备份操作的表。

Greenplum 5.5中的gpbackup和gprestore包含如下增强及改动：

增强的邮件通功能
Gpbackup和gprestore可以返回不同的状态码来表示备份的结果
Gprestore增加了如下的选项
- -exclude-schema 从恢复操作中排除指定schema
- -exclude-table 从恢复操作中排除指定表
- -exclude-table-file 从文件中读取需要忽略的表
- -include-table 从备份中恢复指定的表
gprestore的-j参数增加了并行的索引恢复的支持

可以在gpbackup/gpresotre的文档（https://gpdb.docs.pivotal.io/550/admin_guide/managing/backup-gpbackup.html#topic_yrr_hqw_sbb）中看到更详细的信息。

gpload允许在配置文件中指定外部表的名字

Gpload的配置文件增加了preload:staging_table字段，可以用来指定加载时创建的外部表的表名。当允许reuse参数为true时，gpload通过这个字段直接找到可重用的外部表明，从而避免从pg_class查找。

PXF增强

PXF现在可以使用登陆用户的身份执行数据访问操作，之前只能使用gpadin身份
PXF支持了读取HDFS上的Parquet文件
支持允许PXF向HDFS写文本和序列化文件

Greenplum的workload management扩展

Greenplum的workload management扩展从5.5开始加入到Greenplum的发行版，主要是是为后续的Greenplum command center提供监控及管理功能。

试验特性

Pivotal Greenplum是基于开源的greenplum-db（https://github.com/greenplum-db/gpdb）发布的，它包含了正在开发中的很多激动人心的功能，任何针对这些功能的反馈都会推进我们改进相关功能，并在将来的版本中正式支持。Greenplum 5.5.0中有如下实验功能：

Recursive CTE

CTE（Common Table Expressin）定义了一个可以在同一个查询里重复使用的临时表，可以大大简化SQL语句。Greenplum 5.1.0中CTE定义支持了recursive关键字，从而允许在CTE定义时可以递归的引用自己。

SUSE平台上基于Resource group的资源管理

由于内核版本限制，SUSE11上的cgroup无法提供Resource group运行所依赖的功能，SUSE12解决了启用cgroup以后引起的Greenplum性能问题。

改变的功能

PXF的默认服务端口从51200改为5888
gpbackup的参数选项名称改变
- -backupdir改为-backup-dir
Gprestore的参数选项名称改变
- -backupdir 改为 -backup-dir
- -createdb 改为 -create-db
- -redirect 改为 -redirect-db
- -globals 改为 -with-globals
Gpdeletesystem工具会从backups目录以及db_dumps目录搜索备份文件，老的版本只会从db_dumps目录搜索
支持了新版本的PostGIS扩展