Greenplum 调优--数据倾斜排查（一）

 

对于分布式数据库来说，QUERY的运行效率取决于最慢的那个节点。

当数据出现倾斜时，某些节点的运算量可能比其他节点大。除了带来运行慢的问题，还有其他的问题，例如导致OOM，或者DISK FULL等问题。

如何监控倾斜

1、监控数据库级别倾斜

2、监控表级倾斜

出现数据倾斜的原因和解决办法

1.分布键选择不正确，导致数据存储分布不均。

例如选择的字段某些值特别多，由于数据是按分布键VALUE的HASH进行分布的，导致这些值所在的SEGMENT的数据可能比而其他SEGMENT多很多。

分布键的选择详见：

《Greenplum 最佳实践 - 数据分布黄金法则 - 分布列与分区的选择》

2.查询导致的数据重分布，数据重分布后，数据不均。

例如group by的字段不是分布键，那么运算时就需要重分布数据。