hadoop性能测试命令

最新推荐文章于 2023-12-14 15:25:05 发布

weixin_30571465

最新推荐文章于 2023-12-14 15:25:05 发布

阅读量219

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/qpanda/p/5063615.html

本文介绍了使用Hadoop进行文件读写的性能测试方法。通过测试10个10MB大小的文件读写速度来评估HDFS系统的性能，并提供具体的命令行操作步骤。

1、测试hadoop写的速度
向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到/benchmarks/TestDFSIO/io_data中
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

2、测试hadoop读文件的速度
在HDFS文件系统中读入10个文件,每个文件10M
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

3、删除临时文件
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar TestDFSIO -clean

转载于:https://www.cnblogs.com/qpanda/p/5063615.html