hadoop压力测试 hadoop集群压力测试 hdfs压力测试_hadoop 压力测试工具 sts-优快云博客

本文链接：https://blog.youkuaiyun.com/w4187402/article/details/89309698

面对hadoop官方工具的性能和适用性问题，作者自行编写测试用例进行Hadoop集群压力测试，特别是在HDFS上的性能验证。通过调整并发参数，测试了一亿个32KB文件在200并发情况下的上传性能，详细记录了测试环境和结果，揭示了官方TestDFSIO和teragen工具的局限性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用hadoop官方工具遇到了一些问题（附录详写），所以自己编写了测试用例进行压力测试

首先pom文件引入lombok,hadoop和hdfs的依赖包

<properties>
    <lombok.version>1.16.20</lombok.version>
    <hadoop.version>2.7.7</hadoop.version>
</properties>

	<dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>${lombok.version}</version>
        <scope>provided</scope>
    </dependency>
	<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>

下面是我编写的测试用例（需要配置的注释已给出,需要配置的路径需要自行配置），编译后直接放到一台有linux服务器上进行测试，测试命令为

java -cp./*; hadoop.HLT

其中-cp./*是要引入测试用例需要的jar包，请把项目打包后获取lib下的jar包

import lombok.SneakyThrows;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.co