Hive - 常用调优-生产调优-数据倾斜-小文件-压缩

最新推荐文章于 2024-11-21 14:48:46 发布

原创

最新推荐文章于 2024-11-21 14:48:46 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #mapreduce #big data

本文详细介绍Hive性能调优的关键参数配置，包括MapJoin、小文件合并、动态分区、压缩、数据倾斜处理等，帮助读者掌握Hive作业优化的核心技巧。

本文简介，参数涉及mapjoin，小文件合并，map/reduce大小控制，动态分区设置，压缩，数据倾斜，内存设置等

部分参数可按所在环境酌情调整

-- hive参数设置 by摸鱼

set io.compression.codecs; --查看当前hive支持的压缩版本
--io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.hadoop.io.compress.GzipCodec,.....

set hive.execution.engine=mr;
set mapreduce.job.queuename=root.hive_quenename;
set mapreduce.job.name=hive_job_name;
-- 动态分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict; --在strict模式下，用户必须指定至少一个静态分区的情况下，用户不小心覆盖所有分区，在nonstrict模式的所有分区都被允许是动态的
set hive.exec.max.dynamic.partitions.pernode=10000; --每个map/reduce节点允许创建的最大动态分区数
set hive.exec.max.dynamic.partitions=10000; --总共允许创建的最大动态分区数
set hive.exec.max.created.files=100000; -- mapreduce作业中所有映射器(map)/还原器(reduce)创建的最大的hdfs的最大数量
set hive.error.on.empty.partition=false; -- 动态分区插入产生空结果是否抛出异常
--开启job并行执行
set hive.exec.parallel=true; -- 开启并行，默认false
set hive.exec.parallel.thread.number=10;
-- 控制map个数
set hive.input.format