Hive性能优化策略-优快云博客

本文主要参考文献：

《Hive编程指南》
数据分析利器之hive优化十大原则
优化一：hive.auto.convert.join
数据分析系列（3）：数据倾斜

1. limit 调整以语句快速出结果

很多情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，用于对数据源进行抽样，从而避免执行整个查询语句。

set hive.limit.optimize.enable=true -- 开启对数据源进行采样的功能
set hive.limit.row.max.size =? -- 设置最小的采样容量
set hive.limit.optimize.limit.file =? -- 设置最大的采样样本数

缺点：有可能部分数据永远不会被处理到

2. Join优化

（1）使用相同的连接键

当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。

（2）使得表从小到大join 或者用语句标记最大表

Hive假定查询中最后的一个表是大表。在对每行Join时它会将其它表缓存起来，然后扫描最后那个表进行计算。因此需要保证连接查询中的表的大小是从左到右依次增加的。
或者直接标记最大表：/*streamtable(table_name) */

（3）若有小表可以载入内存，可以执行map-side Join

如果所有表中只有一张表是小表，那么可以在最大的表通过mapper的时候将小表完全放到内存中。Hive可以在map端执行连接过程（称为map-side JOIN），因为Hive可以和内存中的小表进行逐一匹配，从而省略掉常规连接操作所需要的reduce过程。

Hive v0.7版本之前：/*+ MAPJOIN(table_name) */
Hive v0.7版本及之后：

--（废弃了以上标记方式，但以上标记方式仍然有效。 ）

--是否自动转换为mapjoin
hive.auto.convert.JOIN=true
--小表的最大文件大小，默认为25000000，即25M
set hive.mapjoin.smalltable.filesize = 25000000;
--是否将多个mapjoin合并为一个
set hive.auto.convert.join.noconditionaltask = true;
--多个mapjoin转换为1个时，所有小表的文件大小总和的最大值。
set hive.auto.convert.join.noconditionaltask.size = 10000000;

（4）尽量尽早地过滤数据

减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。

3. 本地模式

对于小数据集，为查询触发执行任务消耗的时间>实际执行job的时间，此时可以通过本地模式，在单台机器上（或某些时候在单个进程上）处理所有的任务。

set oldjobtracker=${hiveconf:mapred.job.tracker}; 
set mapred.job.tracker=local; 　
set marped.tmp.dir=/home/edward/tmp; 
sql 语句 ;　
set mapred.job.tracker=${oldjobtracker};

可以通过设置属性hive.exec.mode.local.auto的值为true，来让hve在适当的时候自动启动这个优化，也可以将这个配置写在$HOME/.hiverc文件中。

-- 当一个job满足如下条件才能真正使用本地模式：

1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)

2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)

3.job的reduce数必须为0或者1

可用参数hive.mapred.local.mem(默认0)控制child jvm使用的最大内存数。

4. 并行执行

hive会将一个查询转化为一个或多个阶段，包括：MapReduce阶段、抽样阶段、合并阶段、limit阶段等。默认情况下，一次只执行一个阶段。不过，如果某些阶段不是互相依赖，是可以并行执行的。

set hive.exec.parallel=true --可以开启并发执行。
set hive.exec.parallel.thread.number=16 --同一个sql允许最大并行度，默认为8。

会比较耗系统资源。

5. 严格模式

通过设置属性hive.mapred.mode值为strict可以禁止3种类型的查询：

（1）对于分区表，除非where语句中含有分区字段过滤条件来限制数据范围，否则不允许执行。即，不允许扫描所有分区。

（2）使用了order by的查询必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个reducer中进行处理，强制要求用户增加这个limit语句可以防止reducer额外执行很长一段时间。

（3）限制笛卡尔积的查询。两张表join时必须有on语句

6. 调整mapper和reducer的个数

（1）Map阶段优化

map个数的主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小（默认128M，不可自定义）。

举例：

（a) 假设input目录下有1个文件a，大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数

（b) 假设input目录下有3个文件a、b、c，大小分别为10m，20m，130m，那么hadoop会分隔成4个块（10m,20m,128m,2m）,从而产生4个map数

即，如果文件大于块大小(128m),那么会拆分，如果小于块大小，则把该文件当成一个块。

map执行时间：map任务启动和初始化的时间+逻辑处理的时间。

1）减少map数

若有大量小文件（小于128M），会产生多个map，处理方法是：

set mapred.max.split.size=100000000; 
set mapred.min.split.size.per.node=100000000; 
set mapred.min.split.size.per.rack=100000000;

前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m,大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的）进行合并

-- 执行前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

2）增加map数

当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。

set mapred.reduce.tasks=?

ps：通过dfs -count计算输入量大小，这个命令和Linux中的du -s命令类似，可以计算指定目录下所有数据的总大小。

$ hadoop dfs -count /user/media6/fracture/ins/* |tail -4

（2）Reduce阶段优化

调整方式：

set mapred.reduce.tasks=? --（默认值是3）
set hive.exec.reducers.bytes.per.reducer = ?--（默认值是1GB）
set hive.exec.reducers.max=? --处理大任务是，可以控制资源利用情况

一般根据输入文件的总大小,用它的estimation函数来自动计算reduce的个数：reduce个数 = InputFileSize / bytes per reducer

7. 数据倾斜

表现：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。

单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。最长时长远大于平均时长。

原因

1). key分布不均匀

2). 业务数据本身的特性

3). 建表时考虑不周

4). 某些SQL语句本身就有数据倾斜

关键词	情形	后果
join	其中一个表较小，但是key集中	分发到某一个或几个Reduce上的数据远高于平均值
join	大表与大表，但是分桶的判断字段0值或空值过多	这些空值都由一个reduce处理，灰常慢
group by	group by 维度过小，某值的数量过多	处理某值的reduce灰常耗时
count distinct	某特殊值过多	处理此特殊值reduce耗时