Greenplum之桃花源（4）

最新推荐文章于 2020-12-23 11:37:30 发布

zynzxx

最新推荐文章于 2020-12-23 11:37:30 发布

阅读量310

点赞数 1

文章标签： greenplum 数据倾斜

本文探讨了Greenplum中数据倾斜的检测方法，包括查询segment数据分布和使用GP工具包评估数据存储均匀性。同时，介绍了如何利用资源队列实现资源隔离，动态调整查询权重和优先级，确保系统高效运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Greenplum数据倾斜相关

通常使用的方法，查询每个segment中有多少数据。但是这种方法太简单，只有判断存储是否倾斜，不能对数据处理是否会出现倾斜做出判断，而且判断的维度少。

select gp_segment_id，count(1) from person_info group by 1;

其中skccoeff通过存储记录均值计算出的标准差，这个值越低说明
数据存放均匀。

select * from gp_toolkit.gp_skew_coefficients;select * from gp_toolkit.gp_skew_coefficients;

计算表扫描过程中，系统闲置的百分比。

select* from gp_toolkit.gp_skew_idlw_fractions;

Greenplum资源队列实现资源隔离
当执行一个query时，如果发现它太占资源，我们可以动态的设置它的weight，且当一个query正在执行的时候，可以调整它的priority

postgres=# set gp_debug_resqueue_priority=on;
postgres=# set client_min_messages =‘debug’;
查询当前的resource queue priority
postgres=# select * from gp_toolkit.gp_resq_priority_statement;
rqpdatname | rqpusename | rqpsession | rqpcommand | rqppriority | rqpweight | rqpquery
------------±-----------±-----------±-----------±------------±----------±-------------------------------------------------------
postgres | digoal | 21 | 1 | MAX | 1000000 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);
postgres | digoal | 22 | 1 | MAX | 1000000 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);
postgres | digoal | 23 | 1 | MAX | 1000000 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);
postgres | digoal | 24 | 1 | MAX | 1000000 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);
postgres | digoal | 25 | 1 | MAX | 1000000 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);
postgres | digoal | 26 | 65 | MAX | 1000000 | select * from gp_toolkit.gp_resq_priority_statement;
(6 rows)

可以直接设置priority的别名（MIN, MAX, LOW, HIGH, MEDIAM）,或者使用数字设置weight

postgres=# select gp_adjust_priority(21,1,‘MIN’);
LOG: changing weight of (21:1) from 1000000 to 100
gp_adjust_priority
--------------------1
(1 row)
postgres=# select * from gp_toolkit.gp_resq_priority_statement;
rqpdatname | rqpusename | rqpsession | rqpcommand | rqppriority | rqpweight | rqpquery
------------±-----------±-----------±-----------±------------±----------±-------------------------------------------------------
postgres | digoal | 21 | 1 | MIN | 100 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);

**600是一个非标准的priority，所以显示NON-STANDARD **

postgres=# select gp_adjust_priority(21,1,600);
postgres=# select * from gp_toolkit.gp_resq_priority_statement;
rqpdatname | rqpusename | rqpsession | rqpcommand | rqppriority | rqpweight | rqpquery
------------±-----------±-----------±-----------±-------------±----------±-------------------------------------------------------
postgres | digoal | 21 | 1 | NON-STANDARD | 600 | select pg_sleep(1000000) from gp_dist_random(‘gp_id’);

非原创，收集的资料。