【笔记】hive调优常用参数整理集_hive负载均衡参数-优快云博客

本文链接：https://blog.youkuaiyun.com/spark9527/article/details/118960384

本文整理了Hive调优的关键参数，包括开启数据压缩、MapJoin自动转换、MapReduce压缩设置、动态分区策略等，旨在提高Hive查询效率和数据处理性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

–1.开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
–2）开启mapreduce中map输出压缩功能
set mapreduce.map.output.compress=true;
–3）设置mapreduce中map输出数据的压缩方式
set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;
–4.开启hive最终输出数据压缩功能
set hive.exec.compress.output=true;
–5. 开启mapreduce最终输出数据压缩
set mapreduce.output.fileoutputformat.compress=true;
–11. 设置自动选择Mapjoin
set hive.auto.convert.join = true;
–12. 大表小表的阈值设置（默认25M以下认为是小表）：
set hive.mapjoin.smalltable.filesize=25123456;
–13. 是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
–14. 在Map端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 10000000;
–15. 有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;
–16. 开启动态分区功能（默认true，开启）
set hive.exec.dynamic.partition=