看懂Hive的执行计划

最新推荐文章于 2025-04-12 22:44:25 发布
最新推荐文章于 2025-04-12 22:44:25 发布
阅读量5.5k 收藏 40
点赞数 5
分类专栏： 大数据技术 文章标签： hive 执行计划 性能优化 调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/conggova/article/details/77985070
版权

官方文档
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

关于Hive执行计划简述

一般执行计划有两个部分：
stage dependencies 各个stage之间的依赖性
stage plan 各个stage的执行计划

一个stage并不一定是一个MR，有可能是Fetch Operator，也有可能是Move Operator。

一个MR的执行计划分为两个部分：
Map Operator Tree MAP端的执行计划
Reduce Operator Tree Reduce端的执行计划

一些常见的Operator：
TableScan 读取数据，常见的属性 alias

Select Operator 选取操作
Group By Operator 分组聚合， 常见的属性 aggregations、mode ， 当没有keys属性时只有一个分组。
Reduce Output Operator 输出结果给Reduce , 常见的属性 sort order
Fetch Operator 客户端获取数据 ， 常见属性 limit

常见的属性的取值及含义：
aggregations 用在Group By Operator中
count()计数

mode 用在Group By Operator中
hash 待定
mergepartial 合并部分聚合结果
final

sort order 用于Reduce Output Operator中
+ 正序排序
不排序
++按两列正序排序，如果有两列
+- 正反排序，如果有两列
-反向排序
如此类推

下面是一些典型的操作的执行计划

先看一个简单的执行计划

hive> explain select count(*) from t_data1 ;

STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1
#说明stage之间的依赖性

STAGE PLANS:  #各个stage的执行计划
  Stage: Stage-1
    Map Reduce  #这个stage是一个MR
      Map Operator Tree:  #Map阶段的操作树
          TableScan  #扫描表，获取数据
            alias: t_data1  扫描的表别名
            Statistics: Num rows: 1 Data size: 43835224 Basic stats: COMPLETE Column stats: COMPLETE
            Select Operator  #选取操作
              Statistics: Num rows: 1 Data size: 43835224 Basic stats: COMPLETE Column stats: COMPLETE
              Group By Operator   #分组聚合操作，不指定Key，只有一个分组
                aggregations: count()  聚合操作
                mode: hash    模式？    
                outputColumnNames: _col0  输出列名
                Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
                Reduce Output Operator   #输出结果给Reduce
                  sort order:         #不排序
                  Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
                  value expressions: _col0 (type: bigint)   #value表达式
      Reduce Operator Tree:   #Reduce的操作树
        Group By Operator    #分组聚合操作
          aggregations: count(VALUE._col0)   聚合操作
          mode: mergepartial      合并各个map所贡献的各部分
          outputColumnNames: _col0
          Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
          File Output Operator   #文件输出操作
            compressed: false    不压缩
            Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
            table:
                input format: org.apache.hadoop.mapred.TextInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0   #依赖于Stage1的stage0
    Fetch Operator  #获取数据操作
      limit: -1     #不限定
      Processor Tree:  
        ListSink

这是一个简单的count(*)的执行计划

再来看一个count(distinct)的执行计划

hive> explain select count(distinct sid) from t_data1 ;

STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: t_data1
            Statistics: Num rows: 5479403 Data size: 43835224 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: sid (type: bigint)  #选取SID
              outputColumnNames: sid
              Statistics: Num rows: 5479403 Data size: 43835224 Basic stats: COMPLETE Column stats: NONE
              Group By Operator   #分组聚合操作
                aggregations: count(DISTINCT sid)  #聚合算子
                keys: sid (type: bigint)   #分组键
                mode: hash
                outputColumnNames: _col0, _col1
                Statistics: Num rows: 5479403 Data size: 43835224 Basic stats: COMPLETE Column stats: NONE
                Reduce Output Operator  #输出到Reduce
                  key expressions: _col0 (type: bigint)  #键表达式
                  sort order: +     #正向排序
                  Statistics: Num rows: 5479403 Data size: 43835224 Basic stats: COMPLETE Column stats: NONE
      Reduce Operator Tree:  
        Group By Operator   #分组聚合操作
          aggregations: count(DISTINCT KEY._col0:0._col0)
          mode: mergepartial   #合并各个部分聚合结果
          outputColumnNames: _col0
          Statistics: Num rows: 1 Data size: 16 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            Statistics: Num rows: 1 Data size: 16 Basic stats: COMPLETE Column stats: NONE
            table:
                input format: org.apache.hadoop.mapred.TextInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

分组聚合的例子

explain select applove_date , count(*) from t_data1 group by applove_date ;

STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: t_data1
            Statistics: Num rows: 1095880 Data size: 43835224 Basic stats: COMPLETE Column stats: NONE
            Sele
最低0.47元/天 解锁文章
Hive执行计划之一文读懂Hive执行计划
2301_78834737的博客
07-05 222
Hive的执行计划描述了一个hiveSQL语句的具体执行步骤，通过执行计划解读可以了解hiveSQL语句被解析器转换为相应程序语言的执行逻辑。通过执行逻辑可以知晓HiveSQL运行流程，进而对流程进行优化，实现更优的数据查询处理。同样，通过执行计划，还可以了解到哪些不一样的SQL逻辑其实是等价的，哪些看似一样的逻辑其实是执行代价完全不一样。如果说Hive优化是一堵技术路上的高墙，那么关于Hive执行计划，就是爬上这堵高墙的一架梯子。不同版本的Hive会采用不同的方式生成的执行计划。
hive之执行计划explain详细解读
wangkuangood3200的专栏
05-27 1457
问：hive explain在生产实践中能帮助我们做什么？ 1、join语句会过滤null值吗？——可以！ 执行如下语句： explain select a.loan_typ from ods.ods_s01_orc_lc_appl_i a join ods.ods_s01_orc_p_loan_typ_s b on a.loan_typ =b.typ_cde; 查看运行结果（只截取相关部分）： STAGE PLANS: Stage: Stage-4 Map Reduce Local W.
Hive执行计划详解
热门推荐
weixin_39216383的博客
01-29 2万+
Hive的底层就是MapReduce的编程实现，我们可以通过执行计划详细的了解执行过程。对于我们对底层的理解，有很大的帮助。语法及结构官方对Hive Explain的英文解释，如果大家英文不错的话，强推： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain首先，Explain的语法：EXPLAIN [EXT
#{}和${}的区别是什么？
最新发布
完全体
04-12 594
Mybatis 在处理#{}时，会将 sql 中的#{}替换为?Mybatis 在处理{}替换成变量的值，调⽤ Statement 来赋值；{} 的变量替换是在DBMS 中、变量替换后，#{} 对应的变量⾃动加上单引号，{} 的变量替换是在DBMS 外、变量替换后，{} 对应的变量不会加上单引号。是字符串替换，需手动过滤输入，一般仅用于动态表名等非参数场景。{}是预编译处理、是占位符， ${}是字符串替换、是拼接符。使⽤#{}可以有效的防⽌ SQL 注⼊， 提⾼系统安全性。，仅在必要时（且确保安全）使用。
hive执行计划解析
weixin_42921390的博客
03-28 719
1.hive执行流程的重要性 1）当sql任务非常慢时，就需要分析它的执行流程 2）常见的面试中，问对hive的理解？回答只是写sql，这个是很片面的。要从表面的sql，在脑海中映射出MR流程,在哪儿进行map，combiner，shuffle，reduce 2.解析sql执行计划流程 2.1 大数据两类sql框架 单表分析：select a,聚合函数 from XXX group by b 多表join分析：select a.,b. from a join b on a.id=b.id 这两种sql框架
Hive SQL的编译过程
美团技术团队
02-12 2789
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduc...
万字长文详解HiveSQL执行计划
大数据星球-浪尖
06-25 215
本文目录：一、前言二、SQL的执行计划2.1 explain 的用法2.2 explain 的使用场景 案例一：join 语句会过滤 null 的值吗？ 案例二：group by 分组语句会进行排序吗？ 案例三：哪条sql执行效率高呢？ 案例四：定位产生数据倾斜的代码段2.3 explain dependency的用法 案例一：识别看似等价的代码 案例二：识别SQL读取数据范围的差别2...
如何通过 EXPLAIN 命令分析 Hive 查询的执行计划
2401_83088008的博客
03-16 820
常规检查流程使用EXPLAIN查看执行计划。关注 Stage 依赖与资源消耗。结合验证输入数据。优化方向减少数据扫描：利用分区、分桶、索引。避免全量 Shuffle：优先使用 MapJoin 或 Bucket Join。参数调优：合理配置内存、并行度等。持续监控通过（Hive 2.2+）获取实际执行统计信息，动态调整策略。通过掌握EXPLAIN命令的用法，开发者可以深入理解 Hive 查询的内部机制，从而系统性地提升性能。
Hive执行计划之只有map阶段SQL性能分析和解读
鲁边的博客
06-13 717
这种只含map的操作，如果文件大小控制在合适的情况下，都将只有本地操作，其执行非常高效，运行效率完全不输于在计算引擎Tez和Spark上运行。
Hive执行计划
feizuiku0116的博客
11-03 782
一、作用 用户提交HiveQL查询后，Hive会把查询语句转换为MapReduce作业。Hive会自动完成整个执行过程，一般情况下，我们并不用知道内部是如何运行的。执行计划可以告诉我们查询过程的关键信息，用来帮助我们判定优化措施是否已经生效。 二、基础语法 EXPLAIN的使用非常简单，只需要在正常HiveQL前面加上EXPLAIN就可以了。执行计划运行时 的HiveQL不会真正执行作业，只是基于优化器生成了最优的执行路径： EXPLAIN [EXTENDED] query extended输
Hive explain执行计划详解
qq_36864672的博客
02-14 325
这个执行计划对于咱们了解底层原理，hive 调优，排查数据倾斜等颇有帮助 express使用语法以下：apacheexplain 后面能够跟如下可选参数，注意：这几个可选参数不是 hive 每一个版本都支持的函数在 hive cli 中输入如下命令(hive 2.3.7)：oop获得结果（请逐行看完，即便看不懂也要每行都看）：性能Map ReduceTableScanmode: hashtable:limit: -1ListSink。
hive explain 执行计划详解看懂执行过程
liuya19921123的博客
10-01 4331
HIVE简介 讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？ 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进
hive执行计划
weixin_39259631的博客
06-07 563
Hql：insert overwrite TABLE lpx SELECT t1.bar, t1.foo, t2.foo FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) ;OKABSTRACT SYNTAX TREE:  (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME pokes)...
hive--执行计划
qq_46893497的博客
02-27 3534
来聊一聊执行计划，如果掌握了MapReduce，且开发者有一定的经验积累可以反推Compiler将SQL转换的MapReduce执行算法，并借助explain来比对你构思的执行计划和实际生成的执行计划是否存在差异，并思考差异的原因是啥，慢慢就能够对生成的算法以及算法执行路径图是否合理给出一个自己的评判，同时也能提升自己对SQL的掌控
详解HiveSQL执行计划
Sunny的专栏
06-29 1630
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。。explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。学会explain，能够给我们工作中使用hive带来极大的便利！
读懂简单的hive执行计划-explain计划
huobumingbai1234的博客
02-13 613
对于简单的hivesql，看懂执行计划能细致的知道怎么优化 对于如下这一段简单的sql，看下explain出来的内容 select prov_id ,deep ,count(1) as num from dim.dim_city where prov_id = 110000 and deep = 1 group by prov_id ,deep ; 执行计划 //描述任务之间的依赖关系 STAGE DEPENDENCIES: S
[Hive]看懂Hive的执行计划
henku449141932的博客
09-19 2248
关于Hive执行计划简述 一般执行计划有两个部分： stage dependencies 各个stage之间的依赖性 stage plan 各个stage的执行计划 一个stage并不一定是一个MR，有可能是Fetch Operator，也有可能是Move Operator。 一个MR的执行计划分为两个部分： Map Operator Tree MAP端的执行计划 Reduce Op...
一文读懂 Hive Explain 执行计划
eli的博客
09-07 762
Hive 是基于 Hadoop，实现了通过 SQL 操作 MapRedue 任务，简化了大数据编程的难度，使得普通用户也可以完成大数据程序开发。SQL 目前是使用最为广泛的结构化数据操作语言，未来大数据框架对 SQL 的支持也必将是一种趋势。Hive 在经过一系列编译过程后生成执行计划并提交 MapReduce 等执行引擎端，数据开发人员除了具备 SQL 的编程能力之外， 还必须具备 SQL 执行效率定位能力，而执行计划就是开发人员快速打开 SQL 优化大门的一把钥匙。
给出注释，我看不懂
03-25
<think>好的，用户之前让我介绍了Sqoop的使用，现在他给出新的请求：“给出注释，我看不懂”。我需要先理解用户的具体需求。用户之前已经得到了Sqoop的使用说明，但可能在实际操作中遇到了问题，或者对之前提供的代码示例中的某些部分不理解，需要更详细的注释来解释每个参数或命令的作用。 首先，回顾之前的回答，我提供了Sqoop的安装、核心命令、关键参数、注意事项和应用场景。用户现在可能是在执行这些命令时，对具体的参数或语法有疑问，导致无法正确使用Sqoop。例如，用户可能不明白`--target-dir`的作用，或者对增量导入的参数`--incremental append`不太清楚。 接下来，我需要考虑用户可能的身份和使用场景。用户可能是刚开始接触Sqoop的数据工程师或大数据开发者，对命令行工具的使用还不够熟悉，或者对参数的具体含义需要进一步解释。用户的需求是希望每个命令的参数都有注释，以便理解每个部分的作用，从而能够正确使用Sqoop进行数据导入导出。 此外，用户可能没有明确说明是哪个部分的注释，所以需要确保覆盖所有之前提到的命令和参数。可能需要将之前的示例代码拆解，逐行或逐参数进行解释，帮助用户理解每个选项的意义和用法。 还需要检查之前的回答是否存在不够清晰的地方。例如，在导入到Hive时使用了`--hive-import`和`--create-hive-table`，用户可能不清楚这两个参数的区别，或者为什么需要同时使用。此外，关于并行控制中的`-m`参数和`--split-by`的关系，可能需要更详细的解释，说明如何选择分片字段以及并行任务数的影响。 同时，用户可能对密码安全的部分感兴趣，比如如何使用`-P`参数从文件读取密码，而不仅仅是命令行输入，这在实际生产环境中更为安全，但用户可能不知道具体如何操作，需要补充示例。 另外，数据类型映射和空值处理的部分，用户可能在实践中遇到数据转换的问题，例如数据库中的NULL值在导入到Hive时如何处理，需要更详细的注释说明如何配置这些参数以避免错误。 最后，需要确保注释清晰易懂，使用中文，并且结构合理，帮助用户逐步理解每个参数的作用，从而能够独立解决问题。可能还需要提醒用户注意版本差异，尤其是Sqoop 1和Sqoop 2的不同，避免混淆。</think>以下是针对Sqoop常用命令的**逐行注释说明**，帮助理解参数含义和使用场景： --- ### **示例1：基础导入（MySQL → HDFS）** ```bash sqoop import \ # 启动数据导入任务 --connect jdbc:mysql://host/dbname \ # 数据库连接URL（host=IP/域名，dbname=数据库名） --username root \ # 数据库登录用户名 --password 123456 \ # 数据库密码（生产环境建议用-P从文件读取） --table employees \ # 要导出的源表名 --target-dir /user/hadoop/employees \ # HDFS目标路径（自动创建目录） --fields-terminated-by ',' \ # 指定字段分隔符（默认逗号） -m 4 # 并行任务数（需配合--split-by字段分割数据） ``` --- ### **示例2：增量导入（仅追加新数据）** ```bash sqoop import \ --connect jdbc:mysql://host/dbname \ --username root \ --password 123456 \ --table orders \ --check-column order_date \ # 用于检测增量的字段（必须是数字或时间类型） --incremental append \ # 增量模式（append=追加，lastmodified=时间戳更新） --last-value "2023-10-01" \ # 上次导入的最后值（下次运行时需更新此值） --target-dir /user/hadoop/orders_new ``` --- ### **示例3：导入到Hive并自动建表** ```bash sqoop import \ --connect jdbc:mysql://host/dbname \ --username root \ --password 123456 \ --table products \ --hive-import \ # 指定导入到Hive（默认使用Hive元数据格式） --create-hive-table \ # 自动创建Hive表（若表已存在会报错） --hive-database sales_db \ # 指定Hive数据库（默认用default库） --hive-table product_info \ # Hive表名（可与原表名不同） --null-string '\\N' \ # 将字符串空值转为Hive的NULL（需转义符） --null-non-string '\\N' # 将非字符串空值（如数字）转为NULL ``` --- ### **示例4：条件过滤与列选择** ```bash sqoop import \ --connect jdbc:mysql://host/dbname \ --username root \ --password 123456 \ --query "SELECT id,name,age FROM users WHERE age > 25 AND \$CONDITIONS" \ # 自定义SQL查询（必须包含\$CONDITIONS占位符） --split-by id \ # 指定分片字段（需是查询结果中的字段） --target-dir /user/hadoop/adult_users ``` --- ### **示例5：导出HDFS数据到MySQL** ```bash sqoop export \ --connect jdbc:mysql://host/dbname \ --username root \ --password 123456 \ --export-dir /user/hive/warehouse/sales \ # HDFS源数据路径 --table db_sales \ # 目标数据库表名（需提前建表） --input-fields-terminated-by '\t' \ # 指定HDFS数据的分隔符（需与数据实际格式一致） --update-key id \ # 根据id字段更新已有记录（若未匹配则插入新数据） --update-mode allowinsert # 混合模式（更新+插入） ``` --- ### **关键参数说明表** | 参数 | 用途 | 注意事项 | |------|------|----------| | `--direct` | 使用数据库原生工具加速传输（如MySQL的`mysqldump`） | 仅支持部分数据库 | | `--compress` | 启用数据压缩（默认GZIP） | 减少网络传输量，但增加CPU消耗 | | `--map-column-hive` | 强制指定Hive列类型（如`--map-column-hive age=INT`) | 解决自动类型映射错误问题 | | `--staging-table` | 指定临时表（避免导出时污染目标表） | 需手动清理临时表 | --- ### **常见问题解答** 1. **`$CONDITIONS`是什么？** Sqoop自动生成的查询条件，用于并行任务分割数据（例如`id BETWEEN 1 AND 1000`）。 2. **如何避免密码泄露？** 使用`-P`参数从文件读取密码： ```bash echo -n "123456" > .password # 创建密码文件 sqoop import ... --password-file file://$(pwd)/.password ``` 3. **字段类型映射错误怎么办？** 通过`--map-column-java`或`--map-column-hive`手动指定类型： ```bash --map-column-java create_time=String,price=Double ``` --- 通过以上注释和示例，可以更清晰地理解Sqoop参数的使用逻辑。遇到具体问题时可运行 `sqoop help [命令]` 查看官方文档（例如 `sqoop help import`）。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值