Hive调优

Hive SQL优化

Hive表优化
1、分区
静态分区
动态分区

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

2、分桶

set hive.enforce.bucketing=true;
set hive.enforce.sorting=true;

Hive查询操作优化
1、join优化

hive.optimize.skewjoin=true;如果是join过程中出现倾斜 应该设置为true
set hive.skewjoin.key=100000; 这个是join的键对应的记录条数，超过这个值则会进行优化

2、map join

set hive.auto.convert.join=true;
hive.mapjoin.smalltable.filesize默认值是25mb
select /*+mapjoin(A)*/f.a, f.b from A t join B f on (f.a=t.a);

map join的使用场景：

• 关联操作中有一张表非常小
• 不等值的连接操作

3、bucket join

• 两个表以相同方式划分桶
• 两个表的桶个数是倍数关系

create table order(cid int, price float) clustered by(cid) into 32 buckets;
create table customer(id int, first string) clustered by(id) into 32 buckets;
select price from order t join customers s on t.cid = s.id;

join优化前

select m.cid, u.id
from order m
join customer u
on m.cid = u.id
where m.dt='2018-06-08';

join优化后

select m.cid, u.id
from
(select cid from order
where dt = '2018-06-08')m
join customer u
on m.cid = u.id;

4、group by优化

hive.group.skewindata=true; 如果是group by过程出现倾斜，应该设置为true
set hive.groupby.mapaggr.checkinterval=100000; 这个是group的键对应的记录条数超过这个值则会进行优化

5、count distinct优化
使用group by代替distinct。优化前

select count(distinct id) from tablename;

优化后

select count(1) from (select distinct id from tablename) tmp;
select count(1) from (select id from tablename group by id) tmp;

6、sort by代替order by
order by会导致所有map端数据都进入一个reducer中，当数据量大时可能会长时间计算不完。如果使用sort by，那么还是会视情况启动多个reducer进行排序，并且保证每个reducer内局部有序。为了控制map端数据分配到reducer的key，往往还要配合distribute by一同使用。如果不加distribute by的话，map端数据就会随机分配到reducer。

7、谓语下推
将SQL语句中的where谓词逻辑都尽可能提前执行，减少下游处理的数据量。

select a.uid,a.event_type,b.topic_id,b.title
from calendar_record_log a
left outer join (
select uid,topic_id,title from forum_topic
where pt_date = 20190224 and length(content) >= 100
) b on a.uid = b.uid
where a.pt_date = 20190224 and status = 0;

对forum_topic做过滤的where语句写在子查询内部，而不是外部。Hive中有谓词下推优化的配置项hive.optimize.ppd，默认值true，与它对应的逻辑优化器是PredicatePushDown。该优化器就是将OperatorTree中的FilterOperator向上提。

Hive job优化
1、并行化执行
每个查询被Hive转化为多个阶段，有些阶段关联性不大，则可以并行化执行，减少执行时间

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8;

2、模式选择
本地模式
  对于大多数情况，Hive可以通过本地模式在单台机器上处理所有任务。对于小数据，执行时间可以明显被缩短。

set hive.exec.mode.local.auto=true;

当一个join满足如下条件才能真正使用本地模式：

• Job的输入数据大小必须小于参数

hive.exec.mode.local.auto.inputbytes.max(默认128MB)

• Job的map数必须小于参数

hive.exec.mode.local.auto.tasks.max(默认4)

• Job的reduce数必须为0或者1

并行模式
  Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。默认情况下，Hive一次只会执行一个阶段，由于job包含多个阶段，而这些阶段并非完全互相依赖，
即：这些阶段可以并行执行，可以缩短整个job的执行时间。设置参数：set hive.exec.parallel=true

严格模式
  Hive提供一个严格模式，通过设置：set Hive.mapred.mode=strict; 可以防止用户执行那些可能产生意想不到的影响查询，如果设置为strict模式，则Hive作业禁止3种类型查询：
1）分区表没有启用分区过滤字段
2）order by没有指定limit限制
3）笛卡尔积

3、job合并输入小文件

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

合并文件数由mapred.max.split.size限制的大小决定

4、job合并输出小文件

set hive.merge.smallfiles.avgsize=256000000;当输出文件平均大小小于该值，启动新job合并文件
set hive.merge.size.per.task=64000000;合并之后的文件大小

数据倾斜
参考Hive数据倾斜

JVM重利用

set mapred.job.reuse.jvm.num.tasks=20;

JVM重利用可以是Job长时间保留slot,直到作业结束，这在对于有较多任务和较多小文件的任务时非常有意义的，减少执行时间。但是这个值不能设置过大，因为有些作业会有reduce任务，如果reduce任务没有完成，则map任务占用的slot不能释放，其他的作业可能就需要等待。

压缩数据
中间压缩就是处理hive查询的多个job之间的数据，对于中间压缩，最好选择一个节省CPU耗时的压缩方式

set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;

hive查询最终的输出也可以压缩

set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.output.compression.type=BLOCK;

MapReduce优化
调整mapper数
设置map个数总结如下：
(1) 如果想增加map个数，则设置mapred.map.tasks为一个较大的值
(2) 如果想减少map个数，则设置mapred.min.split.size为一个较大的值
情况1：输入文件size巨大，但不是小文件，增大mapred.min.split.size的值
情况2：输入文件数量巨大，且都是小文件，就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行，需要使用CombineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理，从而减少mapper的数量。

2、Map端聚合

set hive.map.aggr=true;

3、推测执行
  Hadoop推测执行可以触发执行一些重复的任务，尽管因对重复的数据进行计算而导致消耗更多的计算资源，不过这个功能的目标是通过加快获取单个task的结果以侦测执行慢的Task加入到没名单的方式来提高整体的任务执行效率。
  Hadoop的推测执行功能由2个配置控制着，通过mapred-site.xml中配置：

mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true

Hive本身也有控制推测执行的参数，可以在hive-site.xml文件中配置：
hive.mapred.reduce.tasks.speculative.execution

调整reducer数
使用参数mapred.reduce.tasks可以直接设定reducer数量。但如果不设这个参数的话，Hive就会自行推测，逻辑如下：

• 参数hive.exec.reducers.bytes.per.reducer用来设定每个reducer能够处理的最大数据量
• 参数hive.exec.reducers.max用来设定每个job的最大reducer数量
• 得出reducer数：

reducer_num = MIN(total_input_size / reducers.bytes.per.reducer, reducers.max)

reducer数量与输出文件的数量相关。如果reducer数太多，会产生大量小文件，对HDFS造成压力。如果reducer数太少，每个reducer要处理很多数据，容易拖慢运行时间或者造成OOM。