Hive相关参数设置

最新推荐文章于 2025-04-03 08:01:35 发布

迷惘的小行星

最新推荐文章于 2025-04-03 08:01:35 发布

阅读量377

点赞数

文章标签： hive 大数据 hadoop

本文链接：https://blog.youkuaiyun.com/abc5254065/article/details/130373662

版权

本文介绍了如何对Hive进行性能优化，包括将执行引擎切换到Spark，调整reduce任务数量，设置map任务数量，启用小文件合并，解决数据倾斜问题以及应用map端combiner，以提升大数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.设置执行引擎为Spark

set hive.execution.engine=spark;

--reduce task的个数
set mapreduce.job.reduces=2;

减少Map个数，需要增大 set mapred.min.split.size的值，减少set mapred.map.tasks的个数；
增大Map个数，需要减少 set mapred.min.split.size的值，增大set mapred.map.tasks的个数；

set hive.merge.mapfiles=true;
--默认false,在map-reduce任务结束时合并小文件
set hive.merge.maprefiles=true;
--默认256M 单位b;
set hive.merge.size.per.task=268435456

set hive.groupby.skewindata=true
--处理过程：生成两个MRJob,先随机分发处理，再通过key group by 来分发处理

--前提是不影响最终业务逻辑
set hive.map.aggr=true;