大数据开发之Hive案例篇13：Hive SQL 常见参数调整

最新推荐文章于 2025-03-25 19:03:52 发布

只是甲

最新推荐文章于 2025-03-25 19:03:52 发布

阅读量692

点赞数

分类专栏：大数据和数据仓库 # Hive 文章标签： hive 大数据 sql hive参数调整

本文链接：https://blog.youkuaiyun.com/u010520724/article/details/131201029

版权

大数据和数据仓库同时被 2 个专栏收录

290 篇文章

订阅专栏

Hive

46 篇文章

订阅专栏

文章提供了针对Hive的参数调整方案，包括指定队列、合并小文件设置、动态分区配置、内存资源分配以及MapReduce任务的优化，以解决默认参数不适应复杂数据场景的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 问题描述

hive的一些默认参数设置不适合一些复杂的数据需求场景，需要针对具体情况进行调整。

二. 解决方案

以下是常见的调参:

# 指定队列
set mapreduce.job.queuename=root.default;

# 在只有map的作业结束时合并小文件，默认开启true；
set hive.merge.mapfile=true;

# #在Map-Reduce的任务结束时合并小文件
set hive.merge.mapredfiles = true;

# #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
set hive.merge.smallfiles.avgsize = 256000000;

# #合并文件的大小
set hive.merge.size.per.task = 256000000;

# 在严格模式下，用户必须指定至少一个静态分区
# 以防用户意外覆盖所有分区。
set hive.exec.dynamic.partition.mode=nonstrict;

# 动态分区的个数
set hive.exec.max.dynamic.partitions=2000;

# 每个节点最大的动态分区个数
set hive.exec.max.dynamic.partitions.pernode=2000;

# 默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job
set hive.exec.max.created.files=1000000;

# 对 map 端的小文件进行合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

# 设置hive的执行引擎
set hive.execution.engine=spark;
set hive.execution.engine=mr;

# 单个map任务的内存资源
set mapreduce.map.memory.mb=2048;

# 单个reduce任务的内存资源
set mapreduce.reduce.memory.mb=2048;

# 虚拟内存
set yarn.nodemanager.vmem-pmem-ratio=4.1;

# 指定reduce的个数
set mapred.reduce.tasks = 15;

# 指定map的个数
Num_Map_tasks= $inputsize/ max($mapred.min.split.size, min($dfs.block.size, $mapred.max.split.size))
set mapred.max.split.size=10000000 ;
set mapred.min.split.size=10000000;