Gbase扩容时扩容时随机分布表进行重分布

最新推荐文章于 2024-10-25 21:50:09 发布
原创 最新推荐文章于 2024-10-25 21:50:09 发布 · 422 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库

本文介绍了GBase8a数据库在扩容时对随机分布表的处理策略。为了确保扩容过程中随机分布表能够快速重分布，需要将全局参数gcluster_rebalancing_random_table_quick_mode设置为1，启用快速模式。此参数默认值为1，允许的范围在0到1之间，全局设置生效，适用于避免在扩容时执行耗时的表数据迁移。

 

 

Gbase 8a 集群默认在扩容时对随机分布表不会再根据新的distribution进行重分布，因此需要在扩容重分布前时调整参数gcluster_rebalancing_random_table_quick_mode为1.
即： set global gcluster_rebalancing_random_table_quick_mode=1；

含义： 对随机分布表执行 rebalance 操作时使用快速模式
GLOBAL 参数： Y
SESSION 参数： N
默认值： 1
最小值： 0
最大值： 1

栈道751
关注
Gbase 8c GDCA真题100%
打工之路，一路生花
05-04 4168
Gbase 8c GDCA真题100%
【GBASE】南大通用GBase 8a MPP Cluster技术特点
weixin_34421618的博客
01-06 1465
GBASE 8a 相关特性汇总
GBase 8a集群中与rebalance相关的参数介绍
qq_27790033的博客
06-22 974
为了提高可用性，rebalancing过程分批执行。4）参数gcluster_rebalancing_step、gcluster_rebalancing_parallel_degree、gcluster_rebalancing_immediate_recover_internal_table对本功能生效。控制在做rebalance时，如果有drop table是否更新gclusterdb.rebalancing_status表，默认值是1，取值范围为0、1，【0】代表不更新，【1】代表更新。
Gbase8s中的distribution介绍
Freddie0129的博客
06-02 416
语法：gcadmin distribution [db_root_pwd password]功能：安装完集群，生成distribution时，需要使用该命令进行操作,目前8smpp一个节点上，不分主从，只能放置一个分片。注：此命令需要切换到dbaUser用户下，才能正确执行。若使用其它用户执行生成distribution命令，将提示用户切换到dbaUser用户执行该命令，并报错退出。gcChangeInfo.xml:生成distribution的gnode节点信息文件。
GBase 8a 中 Rebalance功能介绍
lanruosi_1的博客
10-25 348
GBase 8a MPP Cluster 是大数据时代成熟的分析型MPP数据库。最新 GBase 8a MPP Cluster V9版本的虚拟集群适用于系统的规划建设多套集群，可以实现各个集群业务的独立规划和统一管理，虚拟集群包括数据管理集群、用户管理集群和集群版本管理集群，各个逻辑子集群间可实现透明的数据迁移、数据关联和数据共享。
Gbase distribution参数详解
爱米酱的博客
09-09 893
gcadmin distribution gcChangeInfo.xml p 2 d 1 pattern 1 gcChangeinfo.xml 描述集群内节点和rack(机柜)对应关系的文件，默认在gcinstall目录 p 每个数据节点存放的`主`分片数。pattern 1 模式下，1<=p<rack 内节点数 d 每个主分片的副本数，取值0,1,2 默认1.最大2 pattern 描述分片规则的模板。1为rack高可用，机架间互备；2为节点高可用，节点间互备。默认为1。 1 还有一种用.
重发布、重分布、重分发
TianYao
01-27 3105
重发布、重分布、重分发 一台设备同时运行于两个协议或两个进程，默认从两端学习到的路由条目不共享；重发布技术就是人为的进行共享； 关注点： 必须存在ASBR --- 自治系统边界路由器---协议边界路由器 必须考虑种子度量---协议间共享路由时，度量时携带到新的路由协议中，需要在ASBR 导入路由时添加起始度量； 规则： 将A协议发布到B协议时，在ASBR上的B协议中配置； 将A协议发...
GBase 8a MPP Cluster扩容操作详例
huixinhuiyismile的博客
08-15 326
整个步骤，核心就是1、安装新的节点服务2、增加新的分布策略，以利用新的数据节点3、重分布数据4、删掉老的信息。
GBase 8a 数据库集群扩容操作详细实例
老紫竹的专栏
09-18 1620
GBase 8a数据库集群，支持从现有集群扩容操作，可以同时扩容多个数据节点和管理节点。扩容一般是因为空间占用或者性能问题导致。GBase 通过重分布功能将数据重新分散到所有的数据节点上，以实现数据空间的再平衡。本文是一个详细操作步骤和手顺。 原文：http://www.gbase8.cn/1133 扩容和缩容是2个完全相反的结果，但大体操作步骤基本类似，只是相反的。缩容步骤请参考。GBase 8a 缩容操作步骤实例 目标 本文的目标，是将一个2节点的集群，扩容到3个节点，也就是增加1个管理和数据.
GBase8s中ADD子句添加分片与dbspace操作详解
当基础表进行分片调整后，相关索引也需同步维护其分片结构以保持一致性。GBase8s支持对局部索引（local index）随表分片自动扩展，而对于全局索引则可能需要手动干预，使用类似语法补充新的索引分片，保障查询优化器...
SQL 随机抽取数据
08-14
SQL Server 对表随机抽取指定条数的数据
GBase 数据重分布原理是什么？
lbfk的专栏
03-23 575
集群有 3 中状态： Normal(正常模式），ReadOnly（只读模式），Recovery（维护模式） 一 、扩容 扩容阶段涉及到的状态迁移说明： 1. 数据准备阶段：集群状态由 Normal - > ReadOnly ，这个状态只允许查询。在这个阶段， 进行数据迁移。 2. 数据切换阶段：集群状态由 Readonly - >Recovery ，这个状态集群不允许任何动作。 这个阶段，新的节点做表的 Rename 动作，旧的节点做表的 Delet
GBase 8a MPP Cluster 的管理员常用命令-distribution
weixin_34421618的博客
01-26 1308
GBase 8a MPP Cluster 的管理员常用命令-distribution
#高斯表修改分布键
码不停歇的博客
10-25 737
【代码】#高斯表修改分布键。
gbase8a如何在繁忙的情况下修复gbase.table_distribution
qq_37004539的博客
08-26 374
gbase.table_distribution在gbase 8a中是最重要的系统表之一。特别是一个繁忙的系统中，不断有DDL的情况下。修复分三步，但这三步如果手工进行，就会有间隙，在间隙中有DDL,就会失败。之所以要用python，是因为这个同步异常产生的事件，要通过gbase提供的python接口来完成。本例中10.17.46.21是需要修复的管理节点。第一步是从其它正常的管理节点scp文件过来，第二步是清除dml事件，第三步是sql刷新表。ssh中的gbase指运行数据库的操作系统用户)。...
GBase 8a数据库数据重分布过程
kevindaddy的博客
01-19 760
集群有3种状态： Normal(正常模式），ReadOnly（只读模式），Recovery（维护模式） 一、扩容 在扩容过程中，集群的状态会发生变化，状态变更顺序为： NORMAL -> READONLY -> RECOVERY -> NORMAL Ø 数据准备阶段：集群状态为READONLY，只允许查询。在这个阶段，从原有节点向新的节点进行数据迁移，新节点生成数据副本。 Ø 数据切换阶段：集群状态为RECOVERY，集群不能对外提供任何服务。集群在这个阶段，完成新节点的主分片做表的Ren
GBase 8a Mpp Cluster集群产品性能优化篇之数据分布
zhu1981hui的博客
02-08 1030
GBase8a集群性能取决于各个节点整体的性能，每个节点存储的数据量对于集群性能有很大影响，为了尽可能达到最好的性能，所有的数据节点应该尽量存储等量的数据，因此在数据库表规划定义阶段要考虑表是复制表还是分布表，以及对分布表上的某一些列设置为分布列进行hash分布。 例如根据数据的分布特性设计，可以把字典表或者维度表建成复制表的方式将数据存储到各个节点上，不须对其数据进行分片存储，因为字典表的数据量相对较小，虽然在各个节点进行存储有一定的数据冗余，但和事实表的JOIN 运算就可在本地进行，避免节点间
GBASE南大通用数据库-GBase8a虚拟集群镜像技术
weixin_47390342的博客
12-29 1134
这种镜像关系是相互的、平等的，不存在主次区别。对于DML和LOAD操作，会把镜像表的分片当做主表的备份分片来操作，执行时先从gbase.table_distribution表中获取镜像关系(通过select mirror_vc_id from gbase.table_distribution where dbName=''and tbName=''获取表的镜像关系)，然后同时操作主表和镜像表所有可用分片，最后统一提交，在提交阶段主表和镜像表结合，每个分片只要有一个备份成功，DML和LOAD就返回成功。
南大通用数据库-Gbase-8a-报错集锦-02-metadata is incomplete on localhost
qq_45111959的博客
05-29 1940
介绍如何解决南大通用数据库-Gbase-8a-报错：metadata is incomplete on localhost，内含具体解决方法。
如何通过 `nodedatamap` 表优化 GBase 8a 的数据分布？
最新发布
06-13
### 通过 `nodedatamap` 表优化 GBase 8a 数据分布的最佳实践 #### 1. 理解 `nodedatamap` 的作用 `nodedatamap` 是 GBase 8a MPP Cluster 中的一个系统表，用于存储数据在集群节点上的分布信息。它记录了每个哈希值对应的节点 ID 和数据分布策略的标识符 `data_distribution_id`，从而帮助用户分析和优化数据分布[^1]。 #### 2. 分析数据分布的均衡性 为了确保数据在各节点之间均匀分布，可以通过查询 `nodedatamap` 表来统计每个节点上的数据量： ```sql SELECT nodeid, COUNT(*) AS record_count FROM gbase.nodedatamap GROUP BY nodeid; ``` 此查询结果可以帮助识别是否存在某些节点负载过高的情况。如果发现数据分布不均，可以考虑调整数据分布策略或重新分区表[^3]。 #### 3. 调整数据分布策略 GBase 8a 支持多种数据分布策略，例如基于哈希、范围或列表的分布方式。通过修改表的分布键（Distribution Key），可以改变数据在节点间的分布模式。以下是一个示例： ```sql ALTER TABLE your_table DISTRIBUTE BY HASH(column_name); ``` 选择合适的分布键是关键，通常应选择高基数列作为分布键以避免数据倾斜[^4]。 #### 4. 监控数据分布的变化 在大规模数据导入或删除操作后，数据分布可能会发生变化。建议定期查询 `nodedatamap` 表以监控这些变化，并根据需要进行调整。例如，可以设置一个定时任务来生成数据分布报告： ```python import pymysql connection = pymysql.connect( host='192.168.146.21', user='gbase', password='gbase', database='gbase' ) try: with connection.cursor() as cursor: sql = """ SELECT nodeid, COUNT(*) AS record_count FROM nodedatamap GROUP BY nodeid; """ cursor.execute(sql) result = cursor.fetchall() for row in result: print(f"Node ID: {row[0]}, Record Count: {row[1]}") finally: connection.close() ``` #### 5. 处理复杂查询中的数据分布问题 在执行涉及多表连接的复杂查询时，可能遇到性能瓶颈。此时可以利用 `nodedatamap` 表分析相关表的数据分布情况，并确保参与连接的表具有相同的分布键，从而减少数据重分布的开销[^2]。 #### 6. 定期维护和优化 随着数据的增长，数据分布可能会逐渐变得不平衡。因此，建议定期对表进行重新分区或重新分布操作。例如，使用以下语句重新分布表数据： ```sql REORGANIZE TABLE your_table; ``` 这将根据当前的分布策略重新分配数据，从而改善性能[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值