测试hadoop集群的读写与计算能力

zyj_369

于 2020-11-21 14:00:30 发布

阅读量1.1k

点赞数 2

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/weixin_46122692/article/details/109889693

版权

本文介绍了如何测试Hadoop集群的HDFS写性能和读性能，包括测试指标的详细解释，如Throughput和Average IO rate。此外，还提及了删除测试数据的过程，并简单提到了使用Sort程序测试MapReduce的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、测试HDFS写性能

向HDFS集群写10个128M的文件

cd /data/hadoop/hadoop/
bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

在这里插入图片描述

参数代表含义：

Number of files: 10：文件数量为10
Total MBytes processed: 1280 ：总写入数据量为1280MB
Throughput mb/sec: 3.59 ：【总共需要写入的数据量】 /【每个map任务实际写入数据的执行时间之和】(这个时间会远小于Test exec time sec) 。这里也就是【1280】/【(map1写时间+map2写时间+…)】
Average IO rate mb/sec: 17.03 ：【每个map需要写入的数据量除以每个map任务实际写入数据的执行时间的和】/ 【任务数】，所以这个值跟上

最低0.47元/天解锁文章