Hadoop实践（四）---Hadoop集群测试（MR样例）

最新推荐文章于 2025-06-09 21:45:32 发布

原创

最新推荐文章于 2025-06-09 21:45:32 发布 · 3.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop mapreduce #测试 #mapreduce #hadoop

本文介绍了Hadoop集群测试中的TeraSort程序，包括使用teragen生成测试数据，terasort进行排序，以及teravalidate进行结果验证。此外，还提到了使用Hadoop进行Pi值估算的测试，详细阐述了nMaps和nSamples参数的含义。通过这些测试，确保了Hadoop MapReduce的正确性和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop 自带的测试程序在{Hadoop安装目录}/share/hadoop/mapreduce/hadoop-mapreduce-examples-{hadoop版本}.jar

1.terasort测试程序

使用teragen，生成测试数据
对生成的数据进行terasort
使用teravalidate对结果进行检查

1.teragen：

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-example-2.7.3.jar teragen <num rows> <output dir>

teragen生成的数据每一行的格式如下：<10 bytes key> <10 bytes rowid> <78 bytes filler>\r\n

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

狮锅艺

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

放一些MR案例

域清风

09-26

808

1.partitioner分区 1.概念 1、将map输出的kv对，按照相同key分组，然后分发给不同的reducetask 默认的分发规则为：根据keyhashcode%reducetask 2、一般返回值从0开始，并且定义多少的reduce数，就有多少分区 2.实例 class MyPartition extends Partitioner<Text, IntWritable> {...

Hadoop 测试例子

Finder_Way

04-09

625

一、软件环境 Hadoop搭建系统环境：三台完全一样的Centos7.0_64位虚拟机系统，其中一个做Namenode和Datanode，另外两个做Datanode。二、运行步骤 2.1 新建输入文件内容在根目录新建一个文件夹叫input，在文件夹里新建三个文件f1.txt,f2.txt,f3.txt,f4.txt,f5.txt,f6.txt，并分别写入一些内容。 mkdir in...

参与评论您还未登录，请先登录后发表或查看评论

spark集群测试

最新发布

2501_90812964的博客

06-09

190

检查Spark worker日志。检查workers文件配置。

HADOOP案例及测试资料

09-01

1/Hadoop平台搭建及实例运行.doc； 2/hadoop常见测试问题_自测试.docx； 3/hadoop源代码分析.docx； 4/Hibench BenchMark suite.docx。

hadoop之测试KMeans(一)：运行源码实例

ShiZhixin的专栏

05-24

1万+

新学hadoop，测试了hello word级别的程序WordCount，打算用hadoop做聚类分析，这次测试KMeans，二维的数据，具体代码来自于http://download.youkuaiyun.com/detail/tinycui/4384750#comment，由于评论中大家对于文档偏少，所以这里详细的介绍一下我的测试过程（伪分布式），以供参考，同时感谢tinycui提供的源代码下载。

测试集群代码

01-13

测试集群

hadoop 集群环境搭建后的测试样例

weixin_42435657的博客

05-15

417

# 1.使用RandomWriter来产生随机数，每个节点运行10个map任务，每个map产生大约1G大小的二进制随机数。# 集群写性能：向HDFS集群写10个128M的文件。# 集群读性能：读取HDFS集群10个128M的文件。# 使用Sort程序评测MapReduce。## 3. 验证数据是否排好序。## 2. 执行Sort程序。# 执行wordcount。测试spark：计算pi。

Hbase操作Hadoop分布式数据库java工程实例（含测试用例）

06-21

Hadoop大数据平台-测试报告及成功案例.docx

10-14

Hadoop大数据平台-测试报告及成功案例.docx

软件测试集群,集群搭建完成简要测试集群（性能）带宽与IOPS

weixin_42467373的博客

07-23

827

集群搭建好之后网络，raid卡策略，磁盘都会影响集群的性能。为了避免因上述问题使得集群的性能受到影响，我们依次进行测试，最后得到基本的集群性能。网络首先是网络，ceph集群一大堆让人摸不着头脑的问题都出在网络上，所以我们在建立集群之前就可以测试网络，看其是否有问题，可以通过ping命令来测试网络的连通性，但最好使用iperf，测试下网络传输速度。遇到有不少现场情况，因为光模块导致万兆网络只有百兆的...

HDFS benchmark 基准测试

热门推荐

sparkjvm的专栏

01-09

1万+

HDFS benchmark 基准测试

hadoop大数据平台性能测试方案.doc

05-23

本文档为xxx大数据平台测试方案模板，包含测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。

Spark-terasort:Spark Terasort基准测试

05-13

Spark-Terasort TeraSort是一种流行的基准测试，用于衡量在给定群集上对1 TB随机分布的数据（或所需的任何其他数据量）进行排序的时间。它最初是用来测量Apache:trade_mark:Hadoop:registered:集群的MapReduce性能的。在此项目中，代码将在Scala中重写，以测量Spark集群的性能。它是对Hadoop集群的存储层（HDFS）和计算层（YARN / Spark）进行组合测试的基准。完整的TeraSort基准测试运行包含以下三个步骤：通过TeraGen生成输入数据。在输入数据上运行实际的TeraSort。通过TeraValidate验证排序的输出数据。您无需在每次TeraSort运行之前重新生成输入数据（步骤2）。因此，如果对生成的数据感到满意，则可以跳过第1步（TeraGen），以便以后的TeraSort运行。包装方式 $ sbt assembly

Spark性能测试Terasort

攸的博客

01-20

898

上次做了Hadoop集群的性能测试，因为主要的大数据开发工作在Spark上，这次做一下Spark的性能测试。 CDH6.0.1环境Hadoop集群性能测试代码参考：spark-terasort 因为使用的CDH6.0.1，Spark版本2.2.0，代码需要做一些修改，这里已经在Spark2.3源码下修改好并编译打包，放到了Spark的examples里，可以替换Spark的exampl...

集群测试

tmatende的博客

11-06

307

<h1 id="集群测试">集群测试</h1> <pre><code>import java.io.File; import java.io.FileOutputStream; import java

Hadoop应用测试

03-11

124

Hadoop应用测试以下是我实际在虚拟机中测试完成的例子，使用easy_hadoop的bash脚本需要改两个路径　，还有pig的路径，使用８.1的stable版本部署完成之后，要注意使用hadoop这个账号来运行mkdir input && cd ...

Hadoop的实例测试

xuyuanshu123的博客

05-20

255

Hadoop--海量文件的分布式计算处理方案 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间...

hadoop的测试实例

jamst

08-07

221

启动 Hadoop 1.格式化文件系统 hadoop namenode –format 2. 启动hadoop 启动关闭所有服务 start-all.sh/stop-all.sh 启动关闭HDFS: start-dfs.sh/stop-dfs.sh 启动关闭MapReduce: start-mapred.sh/stop-mapred.sh...

集群测试（Apache+Tomcat）

PC_small_wang的博客

02-07

802

项目所需准备：Apache、Tomcat、mod_jk.so 一：下载方式及地址（1）Apache 下载链接：https://www.apachelounge.com/download/ 下载文件（64或者32位）：解压下载的文件：解压获取Apache：（2）Tomcat 下载链接：https://tomcat.apache.org/download-80.cgi 下载文件：解压...