GBase产品学习-hash分布表

最新推荐文章于 2024-08-01 00:57:52 发布
原创 最新推荐文章于 2024-08-01 00:57:52 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习

GBase8aMPPCluster在执行针对单个hash分布表的SELECT语句时，利用WHERE子句中的hash分布列条件，将查询任务智能下发到对应计算节点。这一特性显著提升了查询效率，避免了全集群扫描，实现了数据定位的精确性与计算资源的有效利用。

GBase 8a MPP Cluster执行单个hash分布表select语句，WHERE子句中只有一个hash分布列条件，语句会下发到和条件比较值的hash运算值相匹配的计算节点上。

hash分布表能计算出数据具体落在哪个节点上，所以不是所有节点都查询，只下发到有该数值的节点执行即可。

lingzi113
关注
国产数据库---GBase8a的HASH分布表
u010682157的博客
11-28 1276
l随机分布表不足的表现： 随机分布表，入库加载时均匀分布各个节点的，但在查询的时候，精确查询还好，如果关联查询，因为我们的数据分布各个节点是没有规律的，所以关联查询时，会根据关联列进行动态重分布，根据关联列重分布各个节点，强制HASH，数据量小还好，如果数据量大动态重分布一次很耗时的。 l所以现场大表一定要有HASH键，在GBase中，HASH分布列的选择十分重要，选择不正确，则有如下影响： Ø影响数据分布，不好评估数据库空间使用情况 Ø影响性能，节点间出现木桶效应 l表...
GBase 8a检查Hash分布表各分片是否一致的参数
jingjing1068的博客
08-27 605
GBase 8a自身的高可用机制，是能保证主副本一致的，但还是存在一些特殊情况，已经遇到过的包括：清理了错误的event，意外断电而数据没有正确写到物理磁盘(RAID卡无电池)，人工操作直接操作了计算节点等。本文介绍一个方案，检查各个分片是否一致。 参数 _t_gcluster_temp_table_trace 不是所有版本都支持，可以通过show预计查看是否支持该参数。默认值是0 关闭；1 是开启。 gbase> show variables like '%_t_gcluster_temp_tabl
【GaussDB(DWS)】数据分布式存储——hash分区表数据分布方式
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
08-01 2233
水平分表方式将一个数据表内的数据，按合适分布策略分散存储在多个节点内，DWS支持如表1所示的数据分布策略。用户可在CREATE TABLE时指定DISTRIBUTE BY参数进行分片，指定PARTITION BY对分片进行一步分区，以此来组织数据的分布方式。DWS采用水平分表的方式，将业务数据表的元组打散存储到各个节点内。这样带来的好处在于，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大提升数据库性能。
【国产数据库】GBase学习④ - GBase 8c 介绍
学无止境
04-06 2603
MOT是一种内存数据库存储引擎，其中所有表和索引完全驻留在内存中。同时，事务更改（WAL）同步到磁盘上来保证严格一致性。GTM采用基于全局事务提交时间戳的方案代替全局活跃事务列表的方案来管理全局事务。DN节点部分场景仍采用活跃事务列表的方式管理事务。分布式数据库的诞生是为了解决集中式数据库横向扩展的问题。中间件的分布式数据库，底层不具备分布式能力，跨节点事务能力、关联能力较差。采用LSM-tree的分布式数据库，适用于写多读少的场景，读性能不高。
GBase 8a集群性能优化之group by 多列hash重分布
pengrander的博客
03-28 1156
GBase 8a性能优化
精选资源
GBase8s HASH分片策略介绍.doc
06-19
在 Hash 分片策略中，GBase8s 推荐分片数是 2 的幂，这样各个分片的数据分布能够相对均匀。如果要增加的分片是第 N 个分片，大于等于 N 的最小 2 的整数幂为 M，则当增加第 N 个分片时，这个分片的数据来源于分片 N-...
oracle创建哈希分布表,Oracle分区表，哈希分区的新建与增加
weixin_33172728的博客
04-04 1950
一、背景知识Oralce中的一张表数据量达到亿数量级后或是单表达到2G大小，查询效率似乎会明显下降。需要通过分区的方式，从行的维度对表进行划分，避免单表数据量过大分区方法有下面几类：范围，最常见，按照某列数据的范围分区，比如按时间分区哈希，对于数据规律性不强，或者取值范围难以确定的，推荐哈希法，强行进行分区。分区个数需设置成2的幂次列表，类似枚举，需事先知道字段的精确值混合，上述各种组合oracl...
GBase 8a MPP的hash分布列选取策略
nrhrgu的博客
03-08 2162
本文分享GBase 8a MPP Cluster分布式数据仓库创建及使用哈希分布表的一些规则及建议。
Hash分区表及数据分布
cuixie2370的博客
01-20 338
建立分区数为5的hash分区表： create table test01 partition by hash(object_id)(partition p1,partition p2,partition p3,part...
gbase里的分布表与复制表
wen‘s blog
07-09 1万+
背景：数据库使用过程中，一个合适类型的表，会提高sql执行的效率，也可以合理利用服务器空间。一.分布表分布表可以使数据按指定的策略分布存储在不同的主机上，从而实现分布式数据存储和分布式计算，解决大数据存储容量扩展和计算性能扩展的问题。分布策略：采用hash分布、random分布策略存储数据默认创建的表是随机分布表，每个节点上只保留部分表数据。随机分布表如下：CREATE TABLE table1(...
GBase 8a Mpp Cluster集群特性之多列哈希分布
zhu1981hui的博客
09-22 240
•使用uint32保存CRC32的值，如果多个CRC32值相加越界，不影响数据分布。•多列HASH通过将多个列计算的CRC32值相加并对65535取模作为HASH值。•单列HASH通过CRC32函数计算HASH值。
【Gbase】建表时候hash分布列的制定方式（DISTRIBUTED BY column_name）
weixin_41498246的博客
11-25 3665
建立hash分布列的好处： 加快数据的查找速度。 hash分布列的使用注意事项: 通常是等值查询的列，并且使用的频率很高，且不被更改的列，通常为int类型或者字符串类型。group by后面尽量也使用hash分布列 create table test(age int , bal int) distributed by ('bal'); ...
数据挖掘：分布式哈希表（DHT）
热门推荐
bakalaka的博客
06-15 1万+
本文转载自：http://colobu.com/2018/03/26/distributed-hash-table/                    https://blog.youkuaiyun.com/miaoqiucheng/article/details/53039259（第一部分：http://colobu.com/2018/03/26/distributed-hash-table/）1、哈希...
二十七、哈希分布
基督山伯爵的博客
08-20 800
                  &amp
GBase 8a数据库Hash分布表和随机分布表hash索引的区别
kevindaddy的博客
01-20 1672
HASH分布表上创建的hash索引与随机分布表上创建的HASH索引是没有区别的。 Hash分布列是一种数据存放规则，HASH索引只是记录了索引列每条记录的物理位置，与表的类型及数据的存放规则没有关系，索引是单独的文件，不会影响到表和表中的源数据。 ...
GaussDB Hash表分布列选择原则及数据倾斜检测
Enmotech的博客
07-29 5302
点击上方"蓝字"关注我们吧！GaussDB如果采用分布式部署模式，则可以根据数据量以及用途定义两种不同分布方式的表，分别为复制表（Replication）和哈希（Hash）...
GBase 8a集群，t1表是hash分布表时，执行create table t2 as select * from t1 limit 0; 语句后，新建的t2表是什么表
最新发布
10-25
<think>我们参考引用[3]中的内容： 引用[3]指出：使用`create table t2 as select * from t1 where 1=2;`（或类似的过滤条件如`limit 0`）创建表时，即使原表t1是hash分布表，新表t2也不会继承分布列属性，而是变成一个随机分布表（没有指定分布列，由系统随机分布）。但是，可以通过在`create table ... as select ...`语句中显式指定分布列来创建hash分布表，例如： create table t2 distributed by ('fx') as select * from t1 limit 0; 或者使用`like`关键字复制表结构（包括分布列），但这样就不能同时指定新的分布列或改变表类型（复制表、随机分布表等）。 具体到用户的问题： 在GBase 8a集群中，t1表是hash分布表，执行语句`create table t2 as select * from t1 limit 0;`后，新建的t2表是什么类型？ 根据引用[3]的说明，这个语句不会创建hash分布表，因为该语句没有指定分布列。因此，t2表将成为随机分布表（即没有指定分布列，数据将随机分布到各个节点）。 但是，需要进一步确认：在GBase 8a中，如果没有指定分布列，默认是什么表？根据引用[1]和引用[3]的上下文，表可以分为复制表、随机分布表和hash分布表。当使用`create table ... as select ...`且没有指定分布列时，创建的是随机分布表。 因此，结论是：t2表是随机分布表。 另外，引用[3]还提到，如果希望新表是复制表，可以使用`create table t2 replicated as select * from t1 limit 0;`，如果希望是hash分布表，则需要在语句中指定分布列，例如：`create table t2 distributed by ('列名') as select * from t1 limit 0;`。 所以，针对用户的问题，执行`create table t2 as select * from t1 limit 0;`后，t2表是随机分布表。 注意：在GBase 8a中，随机分布表的数据会随机分布在各个节点上，这样可能导致数据不均匀，从而影响查询性能。因此，通常建议明确指定分布列。 下面我们用一个例子来验证： 假设t1是hash分布表，分布列是id。 执行：create table t2 as select * from t1 limit 0; 然后查看t2的表结构（包括分布信息）。 可以通过以下方式查看表结构（包括分布信息）： show create table t2; 在结果中，如果看到有`DISTRIBUTED BY`子句，则说明是hash分布表；如果有`REPLICATED`则说明是复制表；如果都没有，则是随机分布表（在GBase 8a中，随机分布表不会显示分布列，由系统自动随机分布）。 根据引用[3]的说明，上述语句创建的t2表不会有分布列，因此是随机分布表。 总结：执行`create table t2 as select * from t1 limit 0;`后，t2表是随机分布表。 回答完毕。 </think>在GBase 8a集群中，当`t1`表是hash分布表时，执行`create table t2 as select * from t1 limit 0;`后，**新建的`t2`表将成为随机分布表（Round-Robin分布表）**。以下是关键分析： ### 原理说明 1. **分布表继承规则** 通过`CREATE TABLE ... AS SELECT ...`语法创建新表时： - **不会继承**原表的分布列（Hash列）属性[^3] - **不会继承**复制表（Replicated）属性[^3] - 默认创建为随机分布表，数据在节点间轮询分配 2. **与`LIKE`语法的对比** 若使用`CREATE TABLE t2 LIKE t1`： - 会完整继承`t1`的分布列定义（Hash列）[^3] - 但无法在创建时修改分布方式（如改为复制表） ```sql -- 继承分布列 (Hash表) CREATE TABLE t2 LIKE t1; -- 不继承分布列 (随机分布表) CREATE TABLE t2 AS SELECT * FROM t1 LIMIT 0; ``` ### 正确创建Hash表的方法 如需要保持Hash分布特性，必须显式声明分布列[^3]： ```sql CREATE TABLE t2 DISTRIBUTED BY ('hash_column') AS SELECT * FROM t1 LIMIT 0; ``` 其中`'hash_column'`需替换为实际列名。 ### 验证方式 通过查看建表语句确认分布类型： ```sql SHOW CREATE TABLE t2; ``` - **Hash表特征**：输出包含`DISTRIBUTED BY('column_name')` - **随机分布表特征**：无分布列声明 ### 设计建议 1. 事实表优先选用**Hash分布**，确保数据均匀分布[^1] 2. 维度表（小表）建议用**复制表**（REPLICATED），避免跨节点JOIN[^1] 3. 避免使用未指定分布的`CREATE TABLE ... AS SELECT ...`，防止意外创建低效的随机分布表 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值