Greenplum 6.0正式发布!8大特性重塑开源大数据生态

Greenplum 6.0正式发布,内核升级至PostgreSQL 9.4.20,引入JSONB、安全性增强、并行Vacuum等新特性,支持复制表、在线扩容、一致性哈希,以及磁盘额度等功能,大幅提高并发性和数据管理能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

获得技术资料内容,请访问Greenplum中文社区网站

今天(2019年9月4日),Pivotal公司Greenplum产品总监Ivan Novick在北京举办的Greenplum用户大会上宣布开源大数据平台Greenplum 6.0正式发布。

 

Greenplum 6 在9月4日于北京举办的2019 Greenplum用户大会上全球首发。Greenplum企业版用户可以从Pivotal官方网站(https://network.pivotal.io)下载最新的Greenplum 6.0版本。开源Greenplum用户登录Greenplum的GitHub repo页面,会看到页面上的(6.0.0)的tag,用户可以自行构建开源Greenplum版本。

fbad8f7a-34cf-4cb1-bcd0-e5f587ff0870.jpg
Greenplum产品总监Ivan Novick在北京宣布Greenplum 6.0发布

 

Greenplum 新版本在功能和性能上都实现大幅度的提升,大量测试自动运行保证产品质量,可以更好的帮助客户在公有云或私有云中进行出色的集成数据分析,使客户得以快速构建现代的、基于云的AI(人工智能)应用。

现在让我们来看看 Greenplum 6.0都带来了哪些重要特性:

 

内核升级

 

Greenplum 6.0的内核升级到PostgreSQL 9.4.20,与Greenplum 5.x的内核(PostgreSQL 8.3)相比,内核版本提升了6个大的版本,集成了来自于PostgreSQL社区的约14000次代码提交,大量PostgreSQL新特性被移植到Greenplum 6.0中,包括:

 

  • JSONB

  • 安全性、权限管理增强

  • Lateral语法(部分支持)

  •  Range数据类型

  • GIN索引、SP-GiST索引

  • 并行Vacuum

  • FDW外部表

  • 逻辑解码

  • CTE (Common Table Expression)

  • 等等

 

HTAP(OLAP + OLTP)性能大幅提升

 

Greenplum 6.0 引入了新的全局死锁检查机制,新的机制会动态的收集和分析锁的信息来检查和解除全局死锁。基于此,HEAP表的更新修改操作可以只借助细粒度行级锁完成,支持大并发的更改删除查询,从而提高整个系统的并发度和吞吐量。Greenplum 6.0 还对事务锁进行了优化,减少了开始事务和结束事务时的锁竞争。对分区表的插入操作的优化,减少了对其他分区的干扰。结合PostgreSQL合并带来的其他锁优化(例如fastpath),Greenplum 6.0的并发性得到显著改进,OLTP型和混合负载业务尤其受益。

 

  支持复制表

 

复制表(Replicated Table)是Greenplum 6.0支持的一个新的表类型。与普通表不同,复制表会在每个segment节点保存一份全量数据,这样当一个复制表和其他表关联时,将完全不需要segment节点间的数据移动,快速本地完成查询。

 

在线扩容和一致性哈希

在Greenplum6.0之前,扩容节点需要短暂停机并将哈希表改为随机表,在6.0中,这两个约束都被消除,集群可以持续在线扩容。一致性哈希的引入,可以极大减少节点间的数据移动,降低扩容期间网络IO和整个系统的负载。

 

磁盘配额

 

磁盘额度(Disk Quota)支持在数据库的User和Schema级别设置磁盘额度,可以极大的提高对磁盘管理的能力和灵活性。本特性将包括在 GA 版本中。

 

支持Zstardard压缩算法

 

Greenplum 6.0添加了对Zstandard压缩算法的支持,压缩比和性能更突出,CPU使用率大幅降低。

 

灵活数据分布

 

允许用户自定义operator class,并在创建表时给分布列指定operator class, 借助这些功能扩展,用户可以灵活的控制数据分布。

 

基于流复制的全新高可用机制

 

Greenplum 6.0 重新设计了高可用机制,新机制不再使用传统的基于文件IO的 filerep 技术,而是采用了 PostgreSQL 内建的日志流复制技术。这不仅大大提高了 Greenplum 的高可用能力,降低了和 PostgreSQL 代码的分歧程度,提高了代码的可维护性,更是为期待的重量级特性铺平了道路,譬如CDC和DR。

Greenplum 数据库相关产品如备份恢复、机器学习算法库 MADLib、文本分析产品GPText(闭源)、监控管理平台GPCC(闭源)、Greenplum-Kafka 连接器(闭源)、Hadoop 连接器PXF、Greenplum forKubernetes (闭源)等也有大量新特性更新。

接下来我们将在Greenplum中文社区公众号及Greenplum中文社区(cn.greenplum.org)上用更多博文和线下活动详细介绍6.0的更多技术细节和应用案例,欢迎大家的持续关注!

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值