TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响

最新推荐文章于 2020-12-16 14:31:11 发布
原创 最新推荐文章于 2020-12-16 14:31:11 发布 · 3.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #测试 #input #kill #任务 #网络

通过在1个master和16个slave节点的Hadoop环境中进行Terasort实验，研究不同数量的map和reduce任务对性能的影响。实验表明，reduce task数量接近或略大于slave节点数量时，性能最优；而map task数量对系统性能有很大影响，1G和10G数据下，总时间、Map时间、Shuffle时间和Reduce时间会随着map task数量的增大致先降低后升高。Killed map Task Attempts主要由speculative机制引起，可通过设置参数避免。

一、           实验环境


1个master节点, 16个slave节点: CPU:8GHZ , 内存: 2G

网络：局域网

实验人：谢


二、           实验描述


   通过Hadoop自带的Terasort排序程序，测试不同的map task和reduce task数量，对Hadoop性能的影响。

   实验数据由程序中的teragen程序生成，数据量为1GB和10GB。

   通过设置mapred.min.split.size，从而调节map task的数量；设置mapred.reduce.tasks，从而调节reduce task的数量；

   dfs.replication的值设为3，其它参数默认。


三、           实验结果与分析


 

Ø  实验一

                表1、改变reduce task（数据量为1GB)

Map task = 16

Reduce task

1

5

10

15

16

20

25

30

45

60

总时间

892

146

110

92

88

100

128

101

145

104

Map 时间

24

21

25

50

2
最低0.47元/天 解锁文章
hadoop和spark的mapTask和reduceTask对比和区别(超级详细)
互联网知识分享
07-12 437
所以reduceTask才有优先级的说法：repartition() > spark.sql.shuffle.parallelism > spark.default.parallelism。如果该参数不设置,默认为集群可用的cpu数。[1] 默认情况：reduceTas个数 = spark.default.parallelism, 如果该参数不设置,默认为集群可用的cpu数。[2] 全局设置(只设置reduceTask)：spark.sql.shuffle.parallelism=12。
遇到问题---hadoop---reduce执行时又重新map
直到世界的尽头
03-03 1494
遇到的情况 我们在运行一个2T的hive数据进行动态分区，发现运行了很长时间的mapreduce在reduce运行过程中又重新启动了一次map。 如图 原因 分析到的原因可能有两个 一是有异常报错，reduce入库时一直失败，很多个fail或者kill，hadoop启用推测执行机制。hadoop针对慢或者老是失败的任务额外启动一个备份任务，一起处理同一份数据，哪个先执行完，则采用...
测试眼里的Hadoop系列 之Terasort
leafy1980的专栏
07-26 1万+
TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。 1. Hadoop与Sort Benchmarks SortBenchmar
Hadoop之TeraSort学习笔记
03-20 683
TeraSort源码包含很多个java文件，其中可以分为三个部分：TeraGen, TeraSort和TeraValidate。 TeraGen负责生成排序所需的随机数据，TeraValidate用来验证排序结果。 而与TeraSort排序相关的java文件有Ter...
Hadoop Terasort
weixin_34112030的博客
06-14 190
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar teragen 10000000 /terasort/input1GB bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar terasor...
hadoop terasort
原创学无止尽
03-13 2328
1. map reduce 和hadoop起源。 MapReduce借用了函数式编程的概念，是Google发明的一种数据处理模型。因为Google几乎爬了互联网上的所有网页，要为处理这些网页并为搜索引擎建立索引是一项非常艰巨的任务，必须借助成千上万台机器同时工作（也就是分布式并行处理），才有可能完成建立索引的任务。     所以，Google发明了MapReduce数据处理模型，而且他们还就此
Hive--参数优化、Map、Reduce Task个数优化
qq_41301707的博客
12-16 1991
Hive--优化 Hive中的执行引擎目前支持：MapReduce、Spark、Tez 本文设定的执行引擎为MapReduce 1 Hive--参数优化 Hive官网--参数 1.1 hive.fetch.task.conversion Default Value: minimal in Hive 0.10.0 through 0.13.1, more in Hive 0.14.0 and la...
Hadoop TeraSort 基准测试实验
热门推荐
风声
04-01 1万+
<br /><br />Author: zhankunlin<br />Date: 2011-4-1<br />Key words: Hadoop, TeraSort<br /> <br /><一> TeraSort 介绍<br />1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。<br /><二> 相关资料<br />Hadoop MapReduce扩展性的测试:  http
Hadoop之TeraSort
smallnetvisitor的博客
06-24 504
背景： TeraSort普遍用于参数hadoop的性能，那么他的原理是什么？ 原理： 1.利用默认的IdentityMapper和IdentityReducer进行系统的输入输出。 2.利用mapreduce.job.reduces进行partitions数的确定 3.每个partition读取mapreduce.terasort.partitions.sample/mapreduce...
hadoop细节---reduce任务数量
坚持到底
10-04 5968
1.reduce任务的数量并非由输入数据的大小决定，而是特别指定的。可以设定mapred.tasktracker.map.task.maximum和mapred.tasktracker.reduce.task.maximum属性的值来指定map和reduce的数量。 2.reduce最优个数与集群中可用的reduce任务槽相关，总槽数由节点数乘以每个节点的任务槽。 3.本地作业运行器上，只支持
hadoop.terasort测试
nuoline的专栏
02-25 1215
硬件配置： node configuration: 2*4-core 16GB-ram 4*1T-storage node number: 11 软件配置(其他是默认设置)：replication: 1--------------------------------- 测试过程中调节的参数：mapred.tasktracker.map.tasks.maximum=4(共八个cores, 留一个给d
Hadoop的TeraSort问题
iteye_19448的博客
09-29 467
第一步是运行TeraGen来产生数据，原始命令如下：   root@master:/opt/hadoop-0.20.2# hadoop jar hadoop-0.20.2-examples.jar teragen 10000000000 /user/terasort/input1TB  由于Hadoop默认的配置文件中，设置的map task个数为2，而teragen也没给设定map t...
hadoop基准测试_Hadoop TeraSort基准测试
cuma2369的博客
07-29 757
hadoop基准测试TeraSort is one of Hadoop’s widely used benchmarks. Hadoop’s distribution contains both the input generator and sorting implementations: the TeraGen generates the input and TeraSort conducts...
hadoop集群下执行Terasort排序
赴前尘
11-01 887
1.产生数据： hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar teragen 10737418 /terasort/1G-input 2.检查是否产生数据： hdfs dfs -ls /terasort/ 3.使用ter...
hadoop基准性能测试
曲线救己的fighter
08-12 1547
1、1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14
Hadoop-MapReduce-TeraSort-大数据排序例子
train的专栏
07-24 9128
1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个1406
map task数量和reduce task数量
最新发布
12-25
在MapReduce框架中，Map任务和Reduce任务的数量是影响作业性能的关键参数。这两个参数需要根据数据规模、集群资源和业务需求进行合理配置。 #### 一、Map任务数量 **决定因素：** 1. **输入数据量**：主要决定因素...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值