hive之执行计划explain详细解读

最新推荐文章于 2025-04-30 20:15:00 发布

Moon_魔宽

最新推荐文章于 2025-04-30 20:15:00 发布

阅读量1.4k

点赞数

分类专栏：大数据文章标签：大数据 hive

本文链接：https://blog.youkuaiyun.com/wangkuangood3200/article/details/117329536

版权

本文详细解读了hive的explain功能在生产实践中的作用，包括join是否会过滤null值，group by是否会排序，以及如何通过explain分析sql执行效率。通过实例展示了explain输出的执行计划，解释了stage依赖和执行计划树，解析了map reduce过程中的各种operator，如加载表、过滤、选择、map join、分组聚合、排序、输出和文件写入等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问：hive explain在生产实践中能帮助我们做什么？

1、join语句会过滤null值吗？——可以！
执行如下语句：

explain select a.loan_typ  from ods.ods_s01_orc_lc_appl_i a join ods.ods_s01_orc_p_loan_typ_s b on a.loan_typ =b.typ_cde;

查看运行结果（只截取相关部分）：

STAGE PLANS:
  Stage: Stage-4
    Map Reduce Local Work
      Alias -> Map Local Tables:
        $hdt$_1:b 
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        $hdt$_1:b 
          TableScan
            alias: b
            Statistics: Num rows: 39064 Data size: 354481431 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: typ_cde is not null (type: boolean)
              Statistics: Num rows: 39064 Data size: 354481431 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: typ_cde (type: string)
                outputColumnNames: _col0
                Statistics: Num rows: 39064 Data size: 354481431 Basic stats: COMPLETE Column stats: NONE
                HashTable Sink Operator
                  keys:
                    0 _col0 (type: string)
                    1 _col0 (type: string)

可以看到predicate: typ_cde is not null (type: boolean)记录，说明join时自动过滤了关联字段为null的记录。
实验left join是不会过滤的。

2、group by分组语句会排序吗？——会！

explain select  a.loan_typ,count(1) from ods.ods_s01_orc_lc_appl_i a group by a.loan_typ;

如上语句，查看explain执行结果：

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: a
            Statistics: Num rows: 39128923 Data size: 324039568673 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: loan_typ (type: string)
              outputColumnNames: _col0
              Statistics: Num rows: 39128923 Data size: 324039568673 Basic stats: COMPLETE Column stats: NONE
              Group By Operator
                aggregations: count(1)
                keys: _col0 (type: string)
                mode: hash
                outputColumnNames: _col0, _col1
                Statistics: Num rows: 39128923 Data size: 324039568673 Basic stats: COMPLETE Column stats: NONE
                Reduce Output Operator
                  key expressions: _col0 (type: string)
                  sort order: +
                  Map-reduce partition columns: _col0 (type: string)
                  Statistics: Num rows: 39128923 Data size: 324039568673 Basic stats: COMPLETE Column stats: NONE
                  value expressions: _col1 (type: bigint)