PPT |【Greenplum6新特性】在线扩容工具GPExpand剖析

最新推荐文章于 2023-03-16 00:00:00 发布
原创 最新推荐文章于 2023-03-16 00:00:00 发布 · 301 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #分布式 #大数据 #java #人工智能

本文介绍了Greenplum6的新特性——在线扩容工具GPExpand，该工具支持不停机扩容，优化数据重分布和查询性能，以适应大数据环境下对存储和计算能力的需求增长。

获得技术资料内容，请访问Greenplum中文社区网站

今天将和大家分享的是在5月10日，首场《Greenplum：从大数据战略到实现》读者技术沙龙中，Pivotal中国研发中心资深软件工程师杜佳伦做的精彩演讲《Greenplum6新特性——在线扩容工具GPExpand剖析》。

Greenplum数据库是一个支持大规模并行计算的分布式数据库，节点越多，计算和存储能力也越强。在生产环境中，随着数据量的不断增大，不可避免的要为集群增加新节点从而可以存储更多的数据，提供更高的计算能力。为了解决这一难题，Greenplum增加了扩容工具Gpexpand。全新设计的GPExpand支持在线不停机扩容，同时在数据重分布移动数据量和重分布期间的查询做了大量优化，既缩短了重分布时间，同时也使重分布期间的查询性能大大提升。

下面来通过演讲PPT了解更多内容吧！

 

716ac2ac-2e68-47cb-a75a-3718cc1d52cf.png

 

8f503de1-874e-4d8c-9ced-f026e8dd99a8.jpg

9a312aa9-60a2-4ebf-9727-83ec2a16e7d2.jpg

b35e5399-9368-483b-a26e-b83ead5f07f5.png

最低0.47元/天 解锁文章
GreenPlum在线扩容工具GPExpan实战
MyySophia的博客
11-25 447
GPExpand是Greenplum数据库的扩容工具，可以为集群增加新节点，从而存储更多的数据，提供更强的计算能力。在Greenplum 5.0及之前版本中，集群扩容需要停机后才能增加新节点，然后对表数据做重分布。因为集群大小已经改变，所以重分布之前要先将所有哈希分布表改成随机分布，然后按照新的集群大小重新计算哈希值后重新分布。
Greenplum 扩容
无望丶
05-11 1018
Greenplum扩容节点步骤 概述 greenplum扩容segment可以分为2类： 单机上的seg增加，我们称之为“纵向扩展” 单机不变，通过增加机器，我们称之为“横向扩展” 下面详细介绍下这两种扩容方式的具体步骤和方法 gpexpand命令 首先我们来学习一下 gpexpand 命令，基本使用方法如下： gpexpand [-f <hosts_file>] | -i <input_file> [-B <batch_size&g...
【Greenplum 6 新功能】在线扩容工具GPExpand
Greenplum中文社区
03-26 214
本文转自Greenplum中文社区官方网站：greenplum...
Greenplum数据库扩容——在线扩容工具GPExpand使用
肥叔菌的博客
03-16 1345
在扩展后运行ANALYZE更新表的统计信息，默认是不运行ANALYZE。在暂停一秒钟之前发送给给定主机的远程命令的批量大小。默认值是16， 有效值是1-128。gpexpand工具会发出许多设置命令，这些命令可能会超出主机的已验证 连接的最大阈值（由SSH守护进程配置中的MaxStartups定义）。该一秒钟 的暂停允许在gpexpand发出更多命令之前完成认证。默认值通常不需要改变。
Greenplum在线扩容工具“GPExpand”最详解读
Greenplum中文社区
05-14 1624
Gpexpand是Greenplum数据库的扩容工具，可以为集群增加新节点从而可以存储更多的数据，提供更高的计算能力。 Greenplum 5及之前，集群扩容需要停机增加新节点，然后对表数据做重分布。因为集群大小已经改变，所以重分布之前要先将所有哈希分布表改成随机分布，然后再按照新的集群大小重新计算哈希值并重新分布。 所以，旧的扩容技术存在如下几个问题： 1. 需要停机，集群无法在扩容期间提供服务。 2. 数据重分布过程集群性能差。随机分布表因为不能确定数据分布规律，无法对查询做优化。 3. 虽然表的重分布
转：Greenplum 6 新功能 在线扩容工具GPExpand
weixin_30432179的博客
09-26 369
https://www.cnblogs.com/zhangrui153169/p/11435581.html 转载于:https://www.cnblogs.com/datacat/p/11592611.html
Greenplum学习10--添加节点gpexpand ①（在每台segment加入一个节点）（生成节点配置文件）
Rorschach的博客
01-11 6474
greenplum在现有的segment主机上添加节点
greenplum安装、扩容、缩容、HA
10-22
Greenplum的安装部署文档，里面包括具体的gp的安装、部署、扩容、缩容、HA高可用的详细实施步骤。
gpexpand -a -d 10:00:00
rgb_rgb的博客
11-27 510
postgres=# select * from gpexpand.status; status | updated -------------------+---------------------------- SETUP | 2019-11-27 10:06:20.833248 EXPANSION ...
gpexpand扩充gp实例和节点
congnen9588的博客
04-09 695
gpexpand可以新增节点,可以为节点增加实例:测试环境初始化安装每个节点实例有点少,根据gp官方推荐等于min(cpu core数和磁盘数)，需要为每个节点新增实例。 --设置保存expand schema的数据库,可以新...
python决策树怎么选择_机器学习|决策树分类与python实现
weixin_39616880的博客
12-28 335
目录：1.决策树简介2.决策树生成a) 选择标准——熵b) 信息增益——ID3算法c) 信息增益率——C4.5算法d) Gini系数——CART算法e) 评价标准——评价函数3.剪枝操作a) 预剪枝b) 后剪枝4.决策树的集成——随机森林5.Sklearn构造决策树a) 数据包介绍b) 5行代码构造决策树c) 参数简介1.决策树简介决策树概念：决策树(Decision Trees)是一种非参监督学...
GREENPLUM6在线扩展新节点工具介绍GPEXPAND
wenglu的博客
07-13 621
https://blog.youkuaiyun.com/u011478909/article/details/52692280
Greenplum学习11--添加节点gpexpand ②(添加一台主机，数据先迁移)（改写节点配置文件）
Rorschach的博客
01-11 1777
上一篇添加节点的方式，也可以直接加新的seg主机之后新加节点；该篇前半部分讲解了迁移节点，之后根据修改配置文件去添加节点； 1.首先配置互信（在root上和gpadmin上）     （ vi /etc/hosts      vi /gp/all_hosts2）     [gpadmin@master ~]$ source /usr/local/greenplum-db/greenplum_
gpexpand扩展集群节点过程及问题解决
wxc20062006的专栏
11-15 5076
1.使用root用户修改相关参数 　主要是/etc/sysctl.conf和/etc/security/limits.conf和/etc/hostname 2.创建gpadmin组和用户，并安装相关的依赖包； 3.保持和之前集群的目录一致，安装greenplum； 4.配置新加入的主要和之前的所有主机的ssh互信； 注意：配置ssh互信时，由于ssh版本升级，导致使用gpssh-exke
greenplum的扩容（3）-增加数据节点
aabc012的博客
05-06 8350
greenplum的扩容之增加数据节点
Greenplum数据库扩容实务（下）-实施收尾
泰克轱辘儿
05-21 3558
GP扩容的实施其实就是一条命令，最耗费时间的是实施之后的数据重分布，也就是把数据从已有节点平衡到新的seg host上，这篇将描述实施、收尾过程，并给出些常见问题。
Greenplum对新增节点扩展Segments实战
DataFlow范式
07-21 8872
一、环境信息：Greenplum版本号：Greenplum Version: 'postgres (GreenplumDatabase) 4.3.8.2 build 1' GP扩展Segment之前的环境信息：9个节点，其中：1个Master节点1个Standby Master节点7个Segment节点，每个Segment上面有两个Primary实例，两个Mirror实例 二、下面开始介绍在现有G
greenplum的扩容（4）-删除数据节点
aabc012的博客
05-12 4032
greenplum中的数据节点也是可以删除减少的。 现删除增加的1组主备节点。
Greenplum扩容节点步骤
高云平的博客
03-29 4819
文章目录概述gpexpand命令纵向拓展原Greenplum集群状态生成参数文件利用参数文件执行拓展命令查看新添加的状态数据重分布横向拓展生成配置文件执行扩容命令重分布表 概述 greenplum扩容segment可以分为2类： 单机上的seg增加，我们称之为“纵向扩展” 单机不变，通过增加机器，我们称之为“横向扩展” 下面详细介绍下这两种扩容方式的具体步骤和方法 gpexpand命令 首先我...
"Pivotal Greenplum6 新特性介绍文档
总而言之，Pivotal Greenplum 6.0作为一款全新的数据仓库解决方案，通过引入新特性和功能的改进，提供了更高效、灵活和安全的数据处理能力。无论是大规模数据处理、实时查询还是高级分析，Greenplum 6.0都能够满足...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值