Hadoop之TeraSort

最新推荐文章于 2020-07-29 04:31:40 发布
最新推荐文章于 2020-07-29 04:31:40 发布 · 503 阅读 · 2
文章标签：

#大数据

背景：

TeraSort普遍用于参数hadoop的性能，那么他的原理是什么？

原理：

1.利用默认的IdentityMapper和IdentityReducer进行系统的输入输出。

2.利用mapreduce.job.reduces进行partitions数的确定

3.每个partition读取mapreduce.terasort.partitions.sample/mapreduce.terasort.num.partitions个记录

4.对读取的总样本记录进行排序

5.样品按partition进行分割，形成output/_partition.lst存入缓存

6.在Partitioner中进行形成TrieNode

7.基于TrieNode进行partition映射，最终形成有效的排序结果

Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
シ風
08-15 1555
利用hadoop自带基准测试工具包进行集群性能测试，目录 /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar 使用TestDFSIO、mrbench、nnbench、Terasort 、sort 几个使用较广的基准测试程序 # 不带参数运行,会显示示例说明 hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hado
测试眼里的Hadoop系列 之Terasort
热门推荐
leafy1980的专栏
07-26 1万+
TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。 1. Hadoop与Sort Benchmarks SortBenchmar
Hadoop之TeraSort学习笔记
03-20 679
TeraSort源码包含很多个java文件，其中可以分为三个部分：TeraGen, TeraSort和TeraValidate。 TeraGen负责生成排序所需的随机数据，TeraValidate用来验证排序结果。 而与TeraSort排序相关的java文件有Ter...
TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响
学术技术交流，分享生活感悟
05-19 6904
  通过Hadoop自带的Terasort排序程序，测试不同的map task和reduce task数量，对Hadoop性能的影响。   实验数据由程序中的teragen程序生成，数据量为1GB和10GB。
Hadoop Terasort
weixin_34112030的博客
06-14 188
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar teragen 10000000 /terasort/input1GB bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar terasor...
hadoop terasort
原创学无止尽
03-13 2323
1. map reduce 和hadoop起源。 MapReduce借用了函数式编程的概念，是Google发明的一种数据处理模型。因为Google几乎爬了互联网上的所有网页，要为处理这些网页并为搜索引擎建立索引是一项非常艰巨的任务，必须借助成千上万台机器同时工作（也就是分布式并行处理），才有可能完成建立索引的任务。     所以，Google发明了MapReduce数据处理模型，而且他们还就此
4节点Hadoop3.3.3 Terasort 优化
最新发布
07-24
### 3.1 数据预处理优化 ...使用Hadoop内置的监控工具（如YARN ResourceManager UI）来跟踪Terasort任务的执行情况。重点关注各阶段的耗时、数据传输速率以及GC时间等指标，并根据监控结果进行针对性优化[^1]。 ---
2. TeraSort在Hadoop分布式集群中的运行
qq1641070658的博客
06-11 857
2. TeraSort **1TB排序通常用于衡量分布式数据处理框架的数据处理能力。**Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。 2.1 算法思想 解决大规模数据排序问题首先想到的是分而治之的策略，但是这在Hadoop中并不适用，因为，尽管map可以并行，但是这在reduce阶段并不能做到，于是Hadoop官方提出了TeraSort排序算法，这个算法在Hadoop的源码中。 为了提高reduce阶段的并行度，TeraS
优化Hadoop TeraSort的垃圾回收调优策略
本文主要探讨了在Apache Hadoop框架上运行的TeraSort工作负载的垃圾收集（GC）特性及其调优指南。TeraSort是Hadoop分布式计算平台中用于对大量数据进行排序的标准示例应用程序，特别适用于处理TB级别的数据。作者...
Hadoop中TeraSort算法分析
npucloud的专栏
05-18 1211
<br /><br />1、概述<br />1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名 ，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。<br />2、算法思想<br />实际上，当我们要把传统的串行排序算法设计成并行的排序算法时，通常会想到分而治之的策略，即：把要排序的数据划成M个数据块（可以用Hash的方 法做到），
spark-terasort
05-20
Terasort 跑步 TeraGen 用法： $ spark-submit --class terasort.TeraGen --master mesos://$MESOS_MASTER terasort-spark-0.1.jar [output-size] [output-directory] 例子： $ spark-submit --class com.nexr.spark.terasort.TeraGen --deploy-mode client --master yarn spark-terasort-0.1.jar 1G /user/root/teragen TeraSort 用法： $ spark-submit --class terasort.TeraSort --master $MESOS_MASTER spark-terasort-0.1.jar
hadoop的terasort排序总结
zcc_0015的专栏
11-24 3752
hadoop传统的排序是各个map任务对每个数据块进行局部排序，然后由一个reduce任务对所有数据进行全局排序，这样虽然map的并行度高，但reduce的单行化操作却是排序的瓶颈，terasort排序利用trie树(词典查找树)的相关性质，让reduce任务同样并行化大大提高了大数据的排序效率。     （1）trie树介绍      Trie树，是一种树形结构，是一种根节点不包含字符，
Hadoop的TeraSort问题
iteye_19448的博客
09-29 461
第一步是运行TeraGen来产生数据，原始命令如下：   root@master:/opt/hadoop-0.20.2# hadoop jar hadoop-0.20.2-examples.jar teragen 10000000000 /user/terasort/input1TB  由于Hadoop默认的配置文件中，设置的map task个数为2，而teragen也没给设定map t...
hadoop基准测试_Hadoop TeraSort基准测试
cuma2369的博客
07-29 755
hadoop基准测试TeraSort is one of Hadoop’s widely used benchmarks. Hadoop’s distribution contains both the input generator and sorting implementations: the TeraGen generates the input and TeraSort conducts...
hadoop基准性能测试
曲线救己的fighter
08-12 1541
1、1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14
hadoop集群下执行Terasort排序
赴前尘
11-01 882
1.产生数据： hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar teragen 10737418 /terasort/1G-input 2.检查是否产生数据： hdfs dfs -ls /terasort/ 3.使用ter...
TeraSort and Join
kkprcbp的博客
03-15 488
Hadoop MapReduce： 首先，是分布式，是并行，所以一定要想到怎么样并行，使效率最高！（比如说teralist 就是各自并行的排序，有一个并行的过程。） TeraSort： 采样：分割，采每部分前面的，得到一个大概的分布。 找分割点。 各部分自己排序，但部分整体是相对任何其他部分有序。（reduce可以规定reduce输出也是有序的。） Join：方法一： I：f1，
TeraSort 笔记
weixin_30425949的博客
04-17 175
对Hadoop TeraSort的介绍可以参见董大神的博客Hadoop中TeraSort算法分析 以下就记录下测试过程 TeraGen中SortGenMapper的addKey生成了10byte的Key，addRowId生成了88byte的Value，再加上每行的结束符，一行Tera记录是100byte。 通过设置map task的数量可以控制输出文件的个数 #生成了1MB...
teraSort相关
buptapple的专栏
10-19 593
http://dongxicheng.org/mapreduce/hadoop-terasort-analyse/ http://blog.youkuaiyun.com/yongjian_luo/article/details/9955249 http://www.cnblogs.com/cherish_yimi/archive/2009/10/12/1581666.html http://so
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值