一文详解Hive的谓词下推

IT小谷

已于 2022-02-22 11:18:54 修改

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签： hive hadoop 数据仓库

于 2022-02-22 11:18:36 首次发布

本文链接：https://blog.youkuaiyun.com/java_atguigu/article/details/123064220

本文详细探讨了Hive中的谓词下推（Predicate Pushdown）技术，旨在优化查询性能。通过不同类型的JOIN操作（如Left Outer Join、Right Outer Join、Full Outer Join和Inner Join），分析了过滤条件对谓词下推的影响，并提供了具体案例说明何时可以提前执行过滤条件，以减少数据传输和提升查询效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

谓词，是指用来描述或判断客体性质、特征或客体之间关系的词项。在SQL中即返回值为布尔值的函数。

谓词下推，在Hive中叫Predicate Pushdown，含义是指在不影响结果的前提下，尽量将过滤条件提前执行，使得最后参与join的表的数据量更小。谓词下推后，过滤条件将在map端提前执行，减少map端输出，降低了数据传输IO，节约资源，提升性能。大数据培训在Hive中通过配置hive.optimize.ppd参数为true，开启谓词下推，默认为开启状态。

一、表的分类

首先定义一下参与join的表的类型，共分4类。

1. Preserved Row table：保留表

a left (outer) join b 中的 a 表;

a right (outer) join b 中的 b 表;

a full outer join b a 和 b 表都是保留表。

2. Null Supplying table：提供null值的表，也就是非保留表，在join中如果不能匹配上的使用null填充的表。

a left (outer) join b 中的 b 表;

a right (outer) join b 中的 a 表，

a full outer join b