Greenplum数据分布和分区策略

最新推荐文章于 2025-03-27 10:08:40 发布
最新推荐文章于 2025-03-27 10:08:40 发布
阅读量3.7k 收藏 6
点赞数 2
分类专栏： Greenplum内核机制 文章标签： 数据库 大数据 postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gp_community/article/details/104814046
版权
本文介绍了Greenplum数据库的分布策略，包括哈希分布、随机分布和复制分布，强调了哈希分布的性能优势。同时，讨论了分区策略，包括范围分区和列表分区，以及默认分区的作用与潜在问题。正确选择和使用分布与分区策略对于优化查询性能和数据库维护至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

Greenplum是一个大规模并行处理数据库，它由一个master和多个segment组成，其数据按照设定的分布策略分布于各个segment上。数据表的单个行会被分配到一个或多个segment上，但是有这么多的segment，它到底会被分到哪个或哪些segment上呢？分布策略会告诉我们。

分布策略

在Greenplum 5中，有2种分布策略：

  • 哈希分布
  • 随机分布

在Greenplum 6中，添加了另一个策略：

  • 哈希分布
  • 随机分布
  • 复制分布

数据表的单个行会被分配到一个或多个segment上，但是有这么多的segment，它到底会被分到哪个或哪些segment上呢？分布策略会告诉我们。

哈希分布：

要使用这一策略，需要在创建表使用 “DISTRIBUTED BY（column，[

最低0.47元/天 解锁文章
GREENPLUM的分布与分区
朝着梦想 渐行前进
11-28 5291
GREENPLUM partition distribute
greenplum 数据分布策略分析
Deepexi_Date的博客
11-16 2617
greenplum 数据分布策略分析 greenplum 是一个 MPP 架构的数据库，由一个 master 和多个 segment 组成（还可选配置一个 standby master），其数据会根据设置的分布策略分布到在不同的 segment 上。 在 6 版本中，gp 提供了 3 个策略：随机分布、复制分布、hash 分布。 随机分布 在创建表的时候，使用 “DISTRIBUTED RANDOMLY” 子句。 该策略会使数据随机分布到各个 segment，即使是完全一样的两行数据，也可能会被分散至不同的
《一次性讲透Greenplum用法》
最新发布
weixin_44904675的博客
03-27 756
兼容维度：PostgreSQL语法兼容度实测（CTE/窗口函数/JSONB支持情况）数据分片策略对比：随机分布 vs 哈希分布 vs 复制分布（附场景选择建议）重点观察：数据倾斜（max vs min rows）、跨节点传输量。与Hadoop生态对比：SQL支持完整度 vs 实时分析能力差异。扩展维度：线性扩容能力验证实验（节点数/数据量/查询耗时曲线图）Segment节点数 = 总数据量/(单节点内存×0.6)MPP架构示意图：协调节点+多个Segment工作节点。性能维度：单集群支持PB级数据处理。
GreenPlum数据分布策略
hmxz2nn的博客
10-21 3168
两种分布方式 在Greenplum数据库中所有表都是分布式的，所以每一张表都会被切片，每个segment实例数据库会存放相应的数据片段。切片（分布）规则可以由用户定义，可选的方案有根据用户对每一张表指定的hash key进行的Hash分布或者选择随机分布。 Hash分布 当选择Hash分布策略时，可以指定表的一列或者多列组合。greenplum会根据指定的Hash key列计算每一行数据对应的Ha...
Greenplum中数据分布策略
wangning0714的博客
06-02 5279
由于Greenplum为Shared Nothing架构，每个节点都有自己的CPU/内存/硬盘等，不存在共享资源，所以数据的分布显得尤为重要。
Greenplum数据分布原理和数据存储策略详解
# 1. 前言 ## 1.1 介绍Greenplum的背景和概述 Greenplum是一款基于开源数据库的大规模并行处理(MPP)数据平台，旨在提供高性能、高...## 1.2 研究Greenplum数据分布和存储策略的目的和意义 Greenplum作为一个大规模数
Greenplum 将表未分区的数据修改为分区表
weixin_45694422的博客
12-28 1977
前言 在生产业务环境中，经常由于设计不规范，导致在数据库中存储的数据体量越来越庞大，那么带来的问题就是查询效率的低下和维护任务的增加。 在 Greenplum 数据库中，通过使用分区，可以实现大规模并行处理，并且子分区也可以拥有自己的分区，比如数据按照年份分区，再按照月份分区。在内部处理表分区的过程中， Greenplum 在父级表和子表之间是通过被继承实现，类似于 PostgreSQL 中的继承。 如何决定分区策略 · 表是否足够大 通常在数据仓库中，会区分维度表和事实表，而事实表通常需要存储大量的数据，
Greenplum数据分布策略：高效管理数据的10大秘诀
[Greenplum数据分布策略：高效管理数据的10大秘诀](https://media.cheggcdn.com/media/6e4/6e44c680-1fa2-4cef-9e28-a3c4664ec518/phpleNiAC.png) # 摘要 Greenplum作为一个大规模并行处理（MPP）数据库，其数据...
Greenplum-表分区
数据源的港湾
09-15 1529
在前面文章中，我们学习了Greenplum的几种表分布的策略，包括HASH分布、随机分布、复制表三种分布策略。表的分布策略可以实现表的数据能否均匀的分布在不同的Segment实例中。除了表的分布策略以外，Greenplum还支持对表进行分区。分区是在每个Segment内部的行为，将表创建为分区表后，表会拆分为ROOT表和子分区表，数据都存放在子分区表中，ROOT表不存储数据。Greenplum中的分区有两种方式：list（列表）分区及range（范围）分区。这两个分区方式可以随意组合形成多级分区。
Greenplum 最佳实践 - 数据分布黄金法则 - 分布列与分区的选择
MyySophia的博客
03-19 1235
分布列选择黄金法则 由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。 短板效应 当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。 Greenplum 支持的分布算法 : 用户可以指定分布列(允许指定多个列)，或者使用随机分布算法。 那么用户应该如何选...
Greenplum数据分布和分区
MasterLeon的博客
05-06 2670
Greenplum数据分布和分区数据分布分区策略 数据分布 https://yq.aliyun.com/articles/57822 https://segmentfault.com/a/1190000022005788 http://www.dbdream.com.cn/2016/01/greenplum%E6%95%B0%E6%8D%AE%E5%BA%93%E5%88%9B%E5%BB%BA%...
Greenplum 分布键 distribute hash分布和随机分布
是个好男人的博客
04-18 4622
Greenplum是分布式系统，创建表时需要指定分布键，目的是为了数据能够平均分布到各个段，所以选择分布键十分重要，选择错了会导致数据不一致。 分布方式： Hash分布：按分布键对数据列进行hash取模存放到对应的segment。 随机分布：数据随机分布在数据库，每次查询都会查询所有的segment。 1.分布策略 （1）hash分布 Greenplum默认使用hash分布策略。该策略可选一个或者多个列作为分布键（distribution key，简称DK）。分布键做...
greenplum 表在各个节点数据的分布情况
weixin_30329623的博客
09-02 670
select gp_segment_id,count(*) from table_name group by gp_segment_id; 转载于:https://www.cnblogs.com/xibuhaohao/p/11448150.html
GP上的分区表
cuanqian4378的博客
01-20 1871
对于大数据量的表我们通常会对其按照一定规则进行分区存储，以便提高查询效率，下面简单对GP上分区表的创建、分区的增加和删除进行了整理。一、创建GP中表的分区都只能在创建表的时候定义，因此如果需要对表做分区一定要在create表的时...
关于GreenPlum的一些整理
lsr40的博客
07-19 7145
本人菜鸟一只，如果有什么说错的地方还请大家批评指出！！ 这篇文章用来整理下gp的一些东西，不是概念搭建七七八八的东西，就是单纯的一些sql和使用。 1、gp是分布式的数据库，跟hadoop有点类似，也是有master和slave的架构关系 摘抄作者的话：Greenplum所有的并行任务都是在Segment数据节点上完成后，Master只负责生成和优化查询计划、派发任务、协调数据节点进行并行计...
Greenplum数据库执行器——PartitionSelector执行节点
肥叔菌的博客
04-11 590
为了能够对分区表有优异的处理能力，对于查询优化系统来说一个最基本的能力就是做分区裁剪partition pruning，将query中并不涉及的分区提前排除掉。如下执行计划所示，由于单表谓词在parititon key上，在优化期间即可确定哪些可以分区可以避免访问，即静态pruning。如下语句date_id的值将需要根据date_dim表的动态输出决定，因此对orders表的partition pruning只能在执行期完成，类似的例子还有动态绑定变量，称为动态pruning。
Greenplum常用命令
qq_24141759的博客
03-12 1734
使用jk_admin创建schema并指定所有者 [root@master ~]# psql -h 192.168.100.139 -p 5432 -U jk_admin -d postgres;#将tc_dev 加入到jk_admin组中 postgres=# grant tc_dev to jk_admin;2、数据的分隔符最好是hive默认的，或者逗号，或者"|"，最好不要是一些奇奇怪怪的分隔符。（每个分区创建一张表，否则会有一些奇奇怪怪的问题，比如读取慢，卡，甚至跑不动）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值