hive reduce任务太多问题

最新推荐文章于 2023-11-22 17:59:35 发布
原创 最新推荐文章于 2023-11-22 17:59:35 发布 · 912 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个关于大数据处理的问题，即某些计算任务占用过多的reduce资源，导致其他任务无法获取资源的情况。通过调整Hive配置文件中的hive.exec.reducers.max参数来限制reduce的数量，以期解决资源占用过高的问题。

最近有几个处理大数据的计算，占用reduce为999，直接占满slot，导致其它任务无法够取资源。

现在尝试修改

 <property>
        <name>hive.exec.reducers.max</name>
        <value>27</value>
        <description>max number of reducers will be used. If the one
                   specified in the configuration parameter mapred.reduce.tasks is
                           negative, hive will use this one as the max number of reducers when
                                   automatically determine number of reducers.
        </description>

</property>

看看效果如何！


数仓工具—Hive进阶之优化reduce任务数量(10)
11-10 7万+
优化 reduce 任务数量 前面我们介绍过了，如何控制map 的数量，以及为什么要控制map 的数量，具体可以参考前面的文章，Hive进阶之优化map任务数量,最终我们得到了一个结论，那就是使大数据量利用合适的map数；使单个map任务处理合适的数据量，这个就可以作为我们调节map 任务数的原则。 今天我们看一下如何优化 reduce 任务数量 为什么要控制reduce 数量 其实为什么要控制reduce 数量和为什么要控制map 数量是一样的，reduce 数量太少，每个reducer 处理的数据太多就
Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 822
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
hive reduce资源数过多导致集群内资源堵塞方案解决
brtghtrd的专栏
09-05 858
我们先看一看map中对reduce个数产生影响的两个参数 hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.reducers.max（每个任务最大的reduce数，默认为999） hive计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1) ,即如果reduce的输...
HIVE 生成过多小文件的问题
半吊子Kyle的博客
04-16 4006
HIVE 生成过多小文件的问题笔者公司的HIVE现状看下怎么插数会造成小文件过多 今天运维人员突然发来了告警，有一张表生成的小文件太多，很疑惑，然后排查记录了下 笔者公司的HIVE现状 HIVE的版本 2.x，使用的引擎是 MR，该张表是 WEB 开发人员通过 HIVE JDBC 插入的 看下怎么插数会造成小文件过多 ① 建表语句 CREATE TABLE if not exists cust_info ( user_id string COMMENT '用户ID' ,user_name
hive 设置多个reduce
wangxiaojing123的专栏
04-29 385
转载https://blog.youkuaiyun.com/u010010664/article/details/58054085
【Hive任务优化】—— Map、Reduce数量调整
u013332124的专栏
07-26 8347
文章目录一、如何调整任务map数量1、FileInputFormat的实现逻辑介绍1.1 getSplits方法实现2、CombineFileInputFormat的实现逻辑介绍2.1 getSplits方法实现3、HiveInputFormat 的实现逻辑介绍4、CombineHiveInputFormat的实现逻辑介绍5、map数量调整总结二、如何调整任务reduce数量三、关于map tas...
Hive中Map任务和Reduce任务数量计算原理
strongyoung的专栏
04-30 3536
Hive中Map任务和Reduce任务数计算原理 MapReduce原理 Map阶段（以FileInputFormat为例） 步骤：map, partition, sort, combiner InputFormat负责计算分片，一个分片对应一个Map任务，InputFormat而且还负责创建RecordReader，通过RecordReader的next()方法，然后循环调用map()方法...
hive小文件过多问题解决方法
ytp552200ytp的博客
04-11 3442
hive小文件过多问题解决方法
【大数据Hive】hive 优化策略之job任务优化
congge_study的博客
11-22 9440
hive job优化策略
hive优化之——控制hive任务中的map数和reduce数
查数菇乐园
04-20 649
一、 控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 举例： a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数 b) 假设inp
Hive之MapReduce性能优化
Widsom的博客
09-20 4088
Hive优化 一、Hive任务创建文件数优化 1.1 Map端文件合并减少Map任务数量 一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务时，发现Map端的任务过多，且执行时间多数不超过一分钟，建议通过参数，划分(split)文件的大小，合并小文件。如： set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; set mapreduce.input.fileinputformat.split.m
关于hive中的reduce个数的设置。
weixin_30344795的博客
08-06 270
我们都知道在进行hive的查询的时候，设置合理的reduce个数能够使计算的速度加快。 具体的提高速度的方法有下面这些： (1)　　　hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） 　　　　 hive.exec.reducers.max（每个任务最大的reduce数，默认为999） 我们公...
【Hive】Hive常见问题排查技巧
可乐
08-31 2615
一、作业慢或者有问题，先看Yarn链接 1.作业Pending问题查看 通常是资源问题 ACCEPTED: waiting for AM container to be allocated 表示AM的资源都没有分配 Pending很多，Running很少 队列资源用满情况分类 队列满了，不一定是vcore满，可能是内存满了，使用不合理都是先把内存用满了 解决办法： 1.杀作业,停止不重要作业，保障优先级 2.加队列资源 队列满的情况，有时候是因为用户内存设置太大，建议业务砍内存 Config
Yarn容量调度器优化之并行处理问题
石榴姐yyds
09-14 2861
0 引 言 Yarn默认调度器为Capacity Scheduler（容量调度器），且默认只有一个队列——default。如果队列中执行第一个任务资源不够，就不会再执行第二个任务，一直等到第一个任务执行完毕。 1 实 验 （1）启动1个hive客户端，执行以下插入数据的sql语句。 hive (default)> insert into table student values(1,'abc'); 执行该语句，hive会初始化一个Spark Session，用以执行hive on spar
Hadoop【使用篇】09：YARN多资源队列配置和使用
weixin_40612128的博客
03-03 2514
YARN多资源队列配置和使用
跑满YARN资源-优化方向
xw514124202的博客
12-14 885
背景： YARN资源使用情况 如图从内存使用占比、Pending数量 可以看到 YARN的资源使用情况是很紧张的。 优化方向 1、JOB的执行引擎 MR -> Spark Sql 2、监控YARN资源在队列和整体使用情况： A、将不同类型的JOB 调整到不同队列中。 B、调整队列的资源分配比例，抢占比例。 C、调整JOB的开始执行时间，错开YARN资源使用高峰执行。 3、JOB优...
hive调优之map task数量
窦永厚
03-03 2143
第一步：根据输入文件超过mapred.max.split.size大小的，以block为单位（block的倍数）切分成不小于mapred.max.split.size大小的split。如果切分下来的大于mapred.min.split.size.per.node大小则生成一个split 第二步：每个rack1上切分下的碎片进行合并，如果长度超过mapred.max.split.size时生成一个s...
reduce个数的决定因素
快乐的瑾
05-23 2651
reduce数量由以下三个参数决定， mapred.reduce.tasks(强制指定reduce的任务数量) hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.reducers.max（每个任务最大的reduce数，默认为999） 计算reducer数的公式很简单N=
如何设置合理的Reduce的个数
weixin_38629422的博客
04-08 3143
•reducer个数的设定极大影响执行效率 •不指定reducer个数的情况下，Hive分配reducer个数基于以下： 参数1：hive.exec.reducers.bytes.per.reducer（默认为1G) ---------------------- 每个reduce任务处理的数据量 参数2：hive.exec.reducers.max（默认为999） ...
hive什么情况下，会忽略reduce的任务设置数量
最新发布
11-24
<think> 嗯，用户这次问的是Hive在什么情况下会忽略reduce任务的设置数量。这个问题其实挺专业的，涉及到Hive执行引擎的内部机制。从用户之前的提问来看，ta应该是个大数据开发工程师，正在处理性能优化相关的工作。 用户可能遇到了明明设置了reduce数量却不生效的情况，这在实际生产环境确实很常见。我记得上次回答过什么操作会触发reduce阶段，这次的问题可以看作是对那个问题的延伸。用户提供的引用材料[1][4]特别重要，它们直接说明了Hive动态调整reduce数量的底层逻辑。 让我先整理几个关键点：第一个是全局排序场景，这是最典型的。当使用ORDER BY且没有LIMIT时，Hive必须强制使用单个reduce来保证全局有序，这时候无论怎么设置reduce数量都没用。引用[1]提到reduce数量是Hive动态计算的，但在这个场景下计算规则会被覆盖。 第二个是数据倾斜的极端情况。引用[5]举了个很好的例子，当某个key对应的数据量特别大时，Hive可能会启动备用reduce来缓解，但本质上还是打破了预设的reduce数量。这个案例中两亿条空值数据导致单个reduce过载，其实更好的做法是像用户最后做的那样提前过滤空值。 第三个容易被忽略的是某些配置项的优先级。比如当hive.optimize.reducededuplication开启时，Hive为了优化会重组reduce任务。还有map端聚合不完全的情况(引用[3])，虽然主要发生在map阶段，但会影响后续reduce的数量分配。 用户可能还想知道怎么验证这些情况。其实EXPLAIN命令是个好帮手，可以看执行计划里的Reducer数量是不是和预期一致。另外在日志里搜索"Number of reduce tasks"也能看到实际生效的数量。 突然想到还有个特殊情况是文件合并。当输出文件太多需要合并时(引用[4])，Hive会自动添加reduce任务来做合并，这个完全不受用户设置的影响。不过这个reduce任务和正常的reduce阶段不太一样，用户可能不会注意到。 最后要注意的是动态分区插入。当动态分区数量很多时，Hive会强制增加reduce数量来匹配分区数，否则会出现写入冲突。这个在引用里没提到，但确实是生产环境常见问题。 </think>在 Hive 中，以下情况会**忽略用户设置的 Reduce 任务数量**，由 Hive 自动决定或强制调整： --- ### 一、全局排序（ORDER BY）无 LIMIT 当执行全局排序且**未使用 `LIMIT`** 时，Hive 强制使用**单个 Reduce 任务**（即使设置 `mapreduce.job.reduces=N` 也无效）[^1][^4]。 **原因**：必须确保所有数据在同一个 Reduce 中完成全排序。 ✅ **解决方案**： ```sql SELECT * FROM table ORDER BY col LIMIT 100; -- 添加 LIMIT 可启用多个 Reduce ``` --- ### 二、数据倾斜导致动态调整 当发生**严重数据倾斜**时，Hive 可能启动备用 Reduce 任务处理堆积的数据（`hive.skewjoin.mapjoin.map.tasks` 参数控制），突破预设的 Reduce 数量[^2][^5]。 **案例**： ```sql -- 若某个 key 的数据量极大（如空值集中） SELECT key, COUNT(*) FROM table GROUP BY key; ``` 此时 Hive 可能拆分该 key 的数据到多个 Reduce，导致实际 Reduce 数 > 设置值。 --- ### 三、Map 端输出文件过少 若 Map 阶段输出文件数量 **小于预设的 Reduce 数**，Hive 会自动将 Reduce 数调整为 **等于输出文件数**（避免空跑 Reduce）[^4]。 **触发条件**： ```sql SET mapreduce.job.reduces=10; -- 若 Map 仅输出 3 个文件，则实际 Reduce 数=3 ``` --- ### 四、特定优化参数开启时 以下参数会覆盖用户设置： 1. **`hive.exec.reducers.bytes.per.reducer`**（默认 1GB/Reduce） Reduce 数 = 总输入数据量 / 该参数值（上限受 `hive.exec.reducers.max` 约束）[^1] **示例**：输入数据 5GB → Reduce 数 = min(5, `hive.exec.reducers.max`) 2. **`hive.optimize.reducededuplication`**（删除重复 Reduce 算子） 若执行计划中存在可合并的 Reduce 算子，Hive 会忽略冗余设置[^3]。 --- ### 五、动态分区插入（INSERT INTO） 写入动态分区时，Reduce 数至少等于**分区数**（防止多个 Reduce 写入同一分区）[^4]。 **示例**： ```sql SET hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO table PARTITION(dept) SELECT name, dept FROM employees; -- Reduce 数 ≥ dept 的分区数量 ``` --- ### 验证 Reduce 数量的方法 ```sql -- 查看实际 Reduce 数量 EXPLAIN SELECT ... FROM ... GROUP BY ...; ``` 在输出执行计划的 **`STAGE DEPENDENCIES`** 部分查看 `Reducer 2`、`Reducer 3` 等数量。 > **关键结论**： > $$ \text{实际 Reduce 数} = \min \left( \begin{array}{c} \text{用户设置数} \\ \text{Map 输出文件数} \\ \lceil \frac{\text{输入数据量}}{\text{bytes.per.reducer}} \rceil \\ \text{优化器强制调整数} \end{array} \right) $$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值