【笔记】hive调优常用参数整理集

最新推荐文章于 2024-04-30 14:30:39 发布

原创

最新推荐文章于 2024-04-30 14:30:39 发布 · 648 阅读

5 ·

CC 4.0 BY-SA版权

本文整理了Hive调优的关键参数，包括开启数据压缩、MapJoin自动转换、MapReduce压缩设置、动态分区策略等，旨在提高Hive查询效率和数据处理性能。

–1.开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
–2）开启mapreduce中map输出压缩功能
set mapreduce.map.output.compress=true;
–3）设置mapreduce中map输出数据的压缩方式
set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;
–4.开启hive最终输出数据压缩功能
set hive.exec.compress.output=true;
–5. 开启mapreduce最终输出数据压缩
set mapreduce.output.fileoutputformat.compress=true;
–11. 设置自动选择Mapjoin
set hive.auto.convert.join = true;
–12. 大表小表的阈值设置（默认25M以下认为是小表）：
set hive.mapjoin.smalltable.filesize=25123456;
–13. 是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
–14. 在Map端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 10000000;
–15. 有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;
–16. 开启动态分区功能（默认true，开启）
set hive.exec.dynamic.partition=true;
–17. 设置为非严格模式（动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。）
set hive.exec.dynamic.partition.mode=nonstrict;
–18. 在所有执行MR的节