【Hive】性能调优 - EXPLAIN

本文介绍Hive查询优化的重要性和EXPLAIN工具的使用方法。通过EXPLAIN可以查看HiveQL查询的执行计划,了解查询的stage、map、reduce等阶段信息,帮助调优。文章还解释了如何收集表的统计信息以提高查询准确性。

Hive版本: hive-1.1.0-cdh5.14.2

用户提交HiveQL查询后,Hive会把查询语句转换为MapReduce作业。Hive会自动完成整个执行过程,一般情况下,我们并不用知道内部是如何运行的。但当查询遇到性能瓶颈时,就需要对HiveQL进行调优。
EXPLAIN是调优时查看执行计划的工具,执行计划可以清晰的告诉我们查询的stage、map、reduce等阶段的信息。
EXPLAIN的使用非常简单,只需要在正常HiveQL前面加上就可以了。
此时的HiveQL不会真正执行作业,只是基于代价优化器(CBO)生成了最优的执行路径。
例如,使用EXPLAIN查看一条聚合HiveQL的执行计划:

0: jdbc:hive2://node03:10000> explain select avg(age) from youtubevideo_orc;

执行计划分为两部分:

  1. stage依赖(STAGE DEPENDENCIES)
  2. stage详细执行计划(STAGE PLANS)
第一部分:STAGE DEPENDENCIES

这部分展示本次查询分为两个stage:Stage-1,Stage-0.
一般Stage-0是最终给查询用户展示数据用的,如LIMITE操作就会在这部分。
Stage-1是mr程序的执行阶段。
在这里插入图片描述

第二部分:ST
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值