hive sql join优化

最新推荐文章于 2024-10-13 15:29:56 发布

奇允

最新推荐文章于 2024-10-13 15:29:56 发布

阅读量754

点赞数

CC 4.0 BY-SA版权

分类专栏： hive 文章标签： hive 优化 sql

本文链接：https://blog.youkuaiyun.com/zhaomeng1123/article/details/50469954

hive 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了Hive SQL中分区过滤的概念及应用方法，包括如何正确地在不同类型的查询（如普通查询、inner join和left join）中使用分区过滤以提高查询效率。此外，还提供了检查SQL依赖的表和分区的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.分区过滤

分区过滤什么什么意思：如果不加分区，默认会扫描整个表的数据
分区用什么来描述：一般有时间，如year，month，day，hour，当正常表的字段使用
怎么知道一个表是否有分区
- 看表的字段是否有类似“month，day，hour”这样的字段
- show partitions databaseName.tableName
怎么知道加的分区是否有效
执行的sql会有日志，如果map个数感觉比较多，分区过滤放置的位置可能不对
EXPLAIN AUTHORIZATION query

2.分区的使用

普通查询，分区过滤放在where后面，如

说明：

var between 'a' and 'b'意思是var>='a' and var<='b'

inner join，分区过滤放在where后面，如

 
       
            select 
            * 
            from 
            table1 t1 
            join 
            table 
            t2 
            on 
            (t1.id=t2.id) 
            where 
            t1.
            date 
            between 
            '20151205' 
            and  
            '20151206' 
            and 
            t2.
            date 
            between 
            '20151205' 
            and  
            '20151206'
           
 
     

说明：

a join b 两个表都需要过滤条件，如果只写一个只会过滤对应的表

left join，左边表的分区过滤放在where后面，右边表分区过滤放在on后面，如

 
       
            select 
            * 
            from 
            table1 t1 
            left 
            join 
            table 
            t2 
            on 
            (t1.id=t2.id 
            and 
            t2.
            date 
            between 
            '20151205' 
            and  
            '20151206'
            ) 
            where 
            t1.
            date 
            between 
            '20151205' 
            and  
            '20151206'
           
 
     