Hive调优(精品版)

最新推荐文章于 2025-12-02 09:42:37 发布

原创

最新推荐文章于 2025-12-02 09:42:37 发布 · 168 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #mapreduce #hadoop #hive

本文主要探讨了Hive调优的七个关键点：数据倾斜、数据链路过长、计算切片耗时、UDF问题、Reduce拉取数据耗时、全量表跨分区查询缓慢及数据量大导致的性能问题。针对这些问题，提出了具体的解决方案，包括设置参数、调整切分策略、修复UDF等，以提高Hive查询效率。

一、数据倾斜

详见我的另外一篇blog： Hive数据倾斜调优(详细版)_wzluestc的博客-优快云博客

二、数据链路太长

1．表现

整个代码中关联的表很多，DAG很长

2．原因

在mr引擎中，每个阶段的数据都会落地磁盘，链路太长，磁盘io的时间就会很多。

3．解决

将和小表common join转化成map join缩短任务链路，尽量使用tez引擎。

1.设置参数

set hive.auto.convert.join = true; – 开启map join
set hive.mapjoin.smalltable.filesize = 30000000; --小表的最大文件大小(30M)
set hive.auto.convert.join.noconditionaltask = true; --是否将多个mapjoin合并为一个
set hive.auto.convert.join.noconditionaltask.size = 30000000; --多个mapjoin转换为1个时，所有小表的文件大小总和的最大值。

2.调度任务默认引擎为tez，失败重试时会切换成mr。可以在代码设置参数

set hive.execution.engine=tez;