Map与Reduce任务个数的控制方法

最新推荐文章于 2023-10-08 10:05:22 发布
原创 最新推荐文章于 2023-10-08 10:05:22 发布 · 390 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #Map任务个数 #Reduce任务个数

博客主要介绍了Hadoop中Map任务个数和Reduce任务个数的控制方法，聚焦于信息技术领域大数据开发方面的内容，为相关开发人员提供了关键的技术指导。

1、Map任务个数的控制方法



2、Reduce任务个数的控制方法



(17)Hive ——MR任务的map与reduce个数由什么决定？
爱吃辣条的博客
02-14 2552
Hive ——MR任务的map与reduce个数由什么决定？
Hive中map与reduce数量控制
qq_36998916的博客
03-17 1473
1. 控制hive任务中的map数和reduce数 map数量 1.多少map数量合适: 遵循两个原则： 使大数据量利用合适的map数；使单个map任务处理合适的数据量； 2.主要决定因素: hdfs block-- input的文件总个数，input的文件大小，集群设置的文件块大小(默认128M) InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分 片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端
hive优化之------控制hive任务中的map数和reduce数
布尔值
08-28 1640
 文章来自：http://www.dataguru.cn/article-3269-1.html   一、    控制hive任务中的map数: 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查...
hadoop之 reduce个数控制
张冲andy的博客
02-03 1518
1、参数变更 1.x 参数名                                                         2.x 参数名  mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum mapred.reduce.tasks          
Hadoop如何计算map数和reduce数
FZ的博客
03-10 570
Hadoop如何计算map数和reduce数 Hadoop在运行一个mapreduce job之前，需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数，当一个job提交时，jobclient首先分析job被拆分的split数量，然后吧job.split文件放置在HDFS中，一个job的MapTask数量就等于split的个数。
hive优化----控制hive中的reduce数：
weixin_33757911的博客
05-06 344
1. Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.reducers.max（每个任务最大的red...
调整reduce个数
andarly的专栏
10-08 759
2）另外，有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；在设置reduce个数的时候也需要考虑这两个原则：处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；1）过多的启动和初始化reduce也会消耗时间和资源；（1）每个Reduce处理的数据量默认是256MB。（2）每个任务最大的reduce数，默认为1009。（3）计算reducer数的公式。设置每个job的Reduce个数。
hive中控制map和reduce数量的简单实现方法
热门推荐
Dino系我的专栏
03-06 4万+
通过mapred.max.split.size等参数控制hive中的map个数进行资源控制
Hive 如何计算Map，Reduce的个数
zbz1006572352的博客
05-29 1001
hql语句转mapreduce整个编译过程分为六个阶段：（参考美团技术团队）1. Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree2. 遍历AST Tree，抽象出查询的基本组成单元QueryBlock3. 遍历QueryBlock，翻译为执行操作树OperatorTree4. 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量。
MAP/REDUCE-map-reduce详解
yc_hen的博客
02-11 1382
MapReduce是什么？ Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。 这个定义里面有着这些关键词: 一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。 MapReduce做什么？ MapReduce擅...
Hadoop2.2.0伪分布式之MapReduce简介
雨钓的专栏
05-26 9260
Hadoop中的MapReduce简述
小白的数据进阶之路（上）——从Shell脚本到MapReduce
weixin_34092370的博客
10-31 424
那一年，小白刚从学校毕业，学的是计算机专业。最开始他也不清楚自己想要一份怎样的工作，只知道自己先找个互联网公司干干技术再说。 有一天，小白来到一家刚成立不久的小创业公司参见面试。公司虽小，但团队却是华丽丽的。两位创始人都是MIT的MBA，Co-CEO。他们号称，公司的运营、财务、市场以及销售人员，都是从大公司高薪挖过来的。此外，他们还告诉小白，公司另有一位政府背景深厚但不愿透露姓名的神秘股东加盟。...
【Hive任务优化】—— Map、Reduce数量调整
u013332124的专栏
07-26 8348
文章目录一、如何调整任务map数量1、FileInputFormat的实现逻辑介绍1.1 getSplits方法实现2、CombineFileInputFormat的实现逻辑介绍2.1 getSplits方法实现3、HiveInputFormat 的实现逻辑介绍4、CombineHiveInputFormat的实现逻辑介绍5、map数量调整总结二、如何调整任务reduce数量三、关于map tas...
map任务数量控制
iwantknowwhat的专栏
06-25 640
mapred-site.xml mapred.min.split.size 94371840 hdfs-site.xml dfs.block.size 67108864 直接配置mapred.job.maps好像不是很管用。 首先通过dfs.block.size设置
MapReduce全过程参数优化
狗不理的博客
11-04 638
最近花了点时间整理了一下,涵盖了全流程常见实用的调优参数. 希望能有帮助 1)Map阶段 (1) 增大环形缓冲区大小(默认100M,可以提高到200M) mapreduce.take.io.sort.mb (2)增大环形缓冲区溢写的比例(默认80%,可以提高到90%) mapreduce.map.sort.spill.percent (3)减少对溢写文件的merge次数(默认10个文件,可以增大到20) mapreduce.task.io.sort.factor (4)不影响实际业务
MapReduce - 性能调优
zzbjut
09-22 7088
MapReduce 性能调优
如何控制Hive执行中的Map和Reduce数量
猿说新宇的博客
10-28 861
目录 Map map任务的个数 切片与块的关系 是不是map数越多越好 合理的map数设置 如何合并小文件，减少map数？ 如何适当的增加map数？ Reduce hive自己如何确定reduce数 调整reduce个数方法 调整hive.exec.reducers.bytes.per.reducer参数的值 调整mapred.reduce.tasks参数的值 是不...
Mapreduce中Map与Reduce任务的个数
雾幻的博客
04-11 1万+
1、Map任务的个数 读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件,过多的Mapper创建和初始化都会消耗大量的硬件资源 Mapper数太小，并发度过小，Job执行时间过长，无法充分利用分布式硬件资源 Mapper数量由什么决定？？ （1）输入文件数目（2）输入文件的大小（3）配置参数 这三个因素决定的。 输入的目录中文件的数量决定多少个map会...
hive tez map核reduce个数怎么设置比较合理
最新发布
12-12
在 Hive 中使用 Tez 引擎时，合理设置 map 和 reduce 个数的方法如下： ### 设置 map 个数 - **基于输入数据分片**：maptask 个数与 split 逻辑切片的个数有关，在 mapreduce 中，split 逻辑切片和表中文件大小、文件个数、blockSize 等参数有关。Hive 底层读取表默认使用的是 CombineHiveInputFormat，会对小文件进行合并。CombineHiveInputFormat 底层逻辑切片计算过程如下： - 如果文件大小大于 split.maxsize 的 2 倍，则形成一个独立的逻辑切片。 - 如果文件大小大于 split.maxsize，但是小于 split.maxsize 的 2 倍，则拆分成两个平均大小的虚拟存储。 - 如果文件大小小于 split.maxsize，则形成一个虚拟存储。 - 判断虚拟存储的文件大小是否大于 split.maxSize，若大于等于则形成一个逻辑切片；若虚拟存储的文件大小小于 split.maxSize，则和下一个虚拟文件进行合并，直到大于 split.maxsize，共同形成一个切片。例如，可设置 `mapred.max.split.size` 参数来控制每个 map 处理的最大数据量，进而影响 map 数量，设置每个 Map 处理的最大数据为 128MB 的示例代码如下： ```sql SET mapred.max.split.size=134217728; ``` - **结合集群资源**：Tez 内部对 map 数已经有了很多的优化，需要通过 dag 的系统日志来分析，在有限的资源内，结合集群的资源来提高并发，集群资源越多，map 数就可以设置大一点。推荐使用 `tez.grouping.split - count` 结合集群的资源来设置，例如测试 sql 总共分割 895，测试过程中 895 的性能好[^1]。 ### 设置 reduce 个数 - **根据处理数据量设置**：使用 `hive.exec.reducers.bytes.per.reducer` 参数，设置每个 Reduce 处理的数据量，从而间接控制 reduce 数量。例如，设置每个 Reduce 处理的数据为 1GB，可减少 Reduce 数，示例代码如下： ```sql SET hive.exec.reducers.bytes.per.reducer=1073741824; ``` 当参数 `set mapreduce.job.reduces=-1` 时，根据公式 `N = min(参数 2，总输入数据量 / 参数 1)` 进行选择，其中参数 1 为每个 Reduce 处理的数据量，默认是 256MB（`set hive.exec.reducers.bytes.per.reducer=256000000`），参数 2 为每个任务最大的 reduce 数，默认为 1009（`set hive.exec.reducers.max=1009`）。例如，数据量是 512M 时默认启动 512 / 256 = 2 个 reduce 任务[^3]。 - **直接指定数量**：使用 `mapred.reduce.tasks` 参数直接设置 Reduce 任务数，但一般不推荐使用该参数。例如，将 Reduce 任务数设置为 50 的示例代码如下： ```sql SET mapred.reduce.tasks=50; ``` - **考虑集群资源和并行度**：推荐 reduce 数为集群能启动的最大 container 数的 80% 或者小于这个数。同时，可使用 `hive.tez.auto.reducer.parallelism` 参数，启用之后，Tez 会估计数据量大小，设置并行度，在运行时会根据需要调整估计值。示例代码如下： ```sql SET hive.tez.auto.reducer.parallelism = true; ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

行走的数据智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值