Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】

最新推荐文章于 2024-07-25 16:38:33 发布

@寻觅远方

最新推荐文章于 2024-07-25 16:38:33 发布

阅读量1.5k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： .... ... .. . Hadoop 文章标签： hadoop 大数据 mapreduce

本文链接：https://blog.youkuaiyun.com/yuanzhengme/article/details/119719555

.... ... .. . Hadoop 专栏收录该内容

14 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Hadoop自带的基准测试工具对HDFS进行性能评估，包括TestDFSIO的读写性能测试、mrbench的小作业重复执行测试、nnbench的NameNode负载测试，以及Terasort和sort的排序性能测试。详细步骤涵盖了各个测试的配置和执行过程。

利用hadoop自带基准测试工具包进行集群性能测试【也可以测试单机版】，我是用的是 hadoop-3.1.3，测试文件为：

${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar
${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar

以下使用的测试文件为：${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar

# 不带参数运行 可以查看参数说明
[root@tcloud mapreduce]# hadoop jar ./hadoop-mapreduce-client-jobclient-3.1.3-tests.jar
An example program must be given as the first argument.
Valid program names are:
  DFSCIOTest: Distributed i