hive reduce任务太多问题

最新推荐文章于 2024-09-09 16:50:25 发布
最新推荐文章于 2024-09-09 16:50:25 发布
阅读量876 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JavaShooter/article/details/8330278
版权
本文介绍了一个关于大数据处理的问题，即某些计算任务占用过多的reduce资源，导致其他任务无法获取资源的情况。通过调整Hive配置文件中的hive.exec.reducers.max参数来限制reduce的数量，以期解决资源占用过高的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近有几个处理大数据的计算，占用reduce为999，直接占满slot，导致其它任务无法够取资源。

现在尝试修改

 <property>
        <name>hive.exec.reducers.max</name>
        <value>27</value>
        <description>max number of reducers will be used. If the one
                   specified in the configuration parameter mapred.reduce.tasks is
                           negative, hive will use this one as the max number of reducers when
                                   automatically determine number of reducers.
        </description>

</property>

看看效果如何！


数仓工具—Hive进阶之优化reduce任务数量(10)
11-10 7万+
优化 reduce 任务数量 前面我们介绍过了，如何控制map 的数量，以及为什么要控制map 的数量，具体可以参考前面的文章，Hive进阶之优化map任务数量,最终我们得到了一个结论，那就是使大数据量利用合适的map数；使单个map任务处理合适的数据量，这个就可以作为我们调节map 任务数的原则。 今天我们看一下如何优化 reduce 任务数量 为什么要控制reduce 数量 其实为什么要控制reduce 数量和为什么要控制map 数量是一样的，reduce 数量太少，每个reducer 处理的数据太多就
Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 734
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
hive reduce资源数过多导致集群内资源堵塞方案解决
brtghtrd的专栏
09-05 820
我们先看一看map中对reduce个数产生影响的两个参数 hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.reducers.max（每个任务最大的reduce数，默认为999） hive计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1) ,即如果reduce的输...
hive 设置多个reduce
wangxiaojing123的专栏
04-29 363
转载https://blog.youkuaiyun.com/u010010664/article/details/58054085
【Hive任务优化】—— Map、Reduce数量调整
u013332124的专栏
07-26 8175
文章目录一、如何调整任务map数量1、FileInputFormat的实现逻辑介绍1.1 getSplits方法实现2、CombineFileInputFormat的实现逻辑介绍2.1 getSplits方法实现3、HiveInputFormat 的实现逻辑介绍4、CombineHiveInputFormat的实现逻辑介绍5、map数量调整总结二、如何调整任务reduce数量三、关于map tas...
hive优化之——控制hive任务中的map数和reduce数
查数菇乐园
04-20 603
一、 控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 举例： a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数 b) 假设inp
Hive中Map任务和Reduce任务数量计算原理
strongyoung的专栏
04-30 3475
Hive中Map任务和Reduce任务数计算原理 MapReduce原理 Map阶段（以FileInputFormat为例） 步骤：map, partition, sort, combiner InputFormat负责计算分片，一个分片对应一个Map任务，InputFormat而且还负责创建RecordReader，通过RecordReader的next()方法，然后循环调用map()方法...
Hive与MR任务优化参数
别人笑我太疯癫，我笑他人看不穿。
09-09 1240
1.当你的查询数据量较大，此时spark等其他计算引擎会因为自身复杂的执行计划导致计算量很大，再加上计算中的硬性资源消耗，导致需要的资源使你无法接受，此时如果你可以接受较长时间的运行等待，建议使用hive，因为hive底层用的mr，任务分割截止到一次mr，没有那面大的消耗需求，你可以通俗的理解为hive只需要有你数据量大小和跑数据需要的进程类开销既可，它没有spark那种复杂的执行计划，因此它的使用成本是目前大数据计算引擎中最低的一个，单效率也是最慢的，不过对于大任务的处理，更稳定。
【大数据Hive】hive 优化策略之job任务优化
congge_study的博客
11-22 9293
hive job优化策略
Hive之MapReduce性能优化
Widsom的博客
09-20 3920
Hive优化 一、Hive任务创建文件数优化 1.1 Map端文件合并减少Map任务数量 一般来说，HDFS的默认文件块大小是128M，如果在Hive执行任务时，发现Map端的任务过多，且执行时间多数不超过一分钟，建议通过参数，划分(split)文件的大小，合并小文件。如： set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; set mapreduce.input.fileinputformat.split.m
HIVE 生成过多小文件的问题
半吊子Kyle的博客
04-16 3904
HIVE 生成过多小文件的问题笔者公司的HIVE现状看下怎么插数会造成小文件过多 今天运维人员突然发来了告警，有一张表生成的小文件太多，很疑惑，然后排查记录了下 笔者公司的HIVE现状 HIVE的版本 2.x，使用的引擎是 MR，该张表是 WEB 开发人员通过 HIVE JDBC 插入的 看下怎么插数会造成小文件过多 ① 建表语句 CREATE TABLE if not exists cust_info ( user_id string COMMENT '用户ID' ,user_name
关于hive中的reduce个数的设置。
weixin_30344795的博客
08-06 236
我们都知道在进行hive的查询的时候，设置合理的reduce个数能够使计算的速度加快。 具体的提高速度的方法有下面这些： (1)　　　hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） 　　　　 hive.exec.reducers.max（每个任务最大的reduce数，默认为999） 我们公...
【Hive】Hive常见问题排查技巧
可乐
08-31 2457
一、作业慢或者有问题，先看Yarn链接 1.作业Pending问题查看 通常是资源问题 ACCEPTED: waiting for AM container to be allocated 表示AM的资源都没有分配 Pending很多，Running很少 队列资源用满情况分类 队列满了，不一定是vcore满，可能是内存满了，使用不合理都是先把内存用满了 解决办法： 1.杀作业,停止不重要作业，保障优先级 2.加队列资源 队列满的情况，有时候是因为用户内存设置太大，建议业务砍内存 Config
Hadoop20：【案例】YARN多资源队列配置和使用
weixin_40612128的博客
03-03 2379
案例：YARN多资源队列配置和使用 我们的需求是这样的，希望增加2个队列，一个是online队列，一个是offline队列 然后向offline队列中提交一个mapreduce任务 online队列里面运行实时任务 offline队列里面运行离线任务，我们现在学习的mapreduce就属于离线任务 实时任务我们后面会学习，等讲到了再具体分析。 这两个队列其实也是我们公司中最开始分配的队列，不过随着后期集群规模的扩大和业务需求的增加，后期又增加了多个队列。 在这里我们先增加这2个队列，后期再增加多个也是一样的
跑满YARN资源-优化方向
xw514124202的博客
12-14 826
背景： YARN资源使用情况 如图从内存使用占比、Pending数量 可以看到 YARN的资源使用情况是很紧张的。 优化方向 1、JOB的执行引擎 MR -> Spark Sql 2、监控YARN资源在队列和整体使用情况： A、将不同类型的JOB 调整到不同队列中。 B、调整队列的资源分配比例，抢占比例。 C、调整JOB的开始执行时间，错开YARN资源使用高峰执行。 3、JOB优...
Yarn容量调度器优化之并行处理问题
石榴姐yyds
09-14 2751
0 引 言 Yarn默认调度器为Capacity Scheduler（容量调度器），且默认只有一个队列——default。如果队列中执行第一个任务资源不够，就不会再执行第二个任务，一直等到第一个任务执行完毕。 1 实 验 （1）启动1个hive客户端，执行以下插入数据的sql语句。 hive (default)> insert into table student values(1,'abc'); 执行该语句，hive会初始化一个Spark Session，用以执行hive on spar
hive调优之map task数量
窦永厚
03-03 2096
第一步：根据输入文件超过mapred.max.split.size大小的，以block为单位（block的倍数）切分成不小于mapred.max.split.size大小的split。如果切分下来的大于mapred.min.split.size.per.node大小则生成一个split 第二步：每个rack1上切分下的碎片进行合并，如果长度超过mapred.max.split.size时生成一个s...
如何设置合理的Reduce的个数
weixin_38629422的博客
04-08 3093
•reducer个数的设定极大影响执行效率 •不指定reducer个数的情况下，Hive分配reducer个数基于以下： 参数1：hive.exec.reducers.bytes.per.reducer（默认为1G) ---------------------- 每个reduce任务处理的数据量 参数2：hive.exec.reducers.max（默认为999） ...
reduce个数的决定因素
快乐的瑾
05-23 2589
reduce数量由以下三个参数决定， mapred.reduce.tasks(强制指定reduce的任务数量) hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.reducers.max（每个任务最大的reduce数，默认为999） 计算reducer数的公式很简单N=
hive提交任务如何设置map数量
最新发布
03-14
然后，用户可能还会遇到文件数量的问题，比如小文件太多，导致Map任务过多。这时候需要合并小文件，可以通过参数设置输入合并，比如hive.input.format和hive.merge.mapfiles，或者在任务前进行小文件合并。 另外，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值