HDFS测试

HDFS基准测试

其中 HDFS 基准测试包括：
（ 1 ）dfsio基准测试 HDFS I/O 读写性能
（ 2 ）slive基准测试NameNode内部操作的性能
（ 3 ）scan 基准测试MapReduce作业访问 HDFS 的 I/O 性能
（ 4 ）shuffle 基准测试 shuffle 阶段性能
（ 5 ）compression 基准测试MapReduce作业中间结果和最终结果的压缩性能
（ 6 ）gridmix-V3 基准测试集群吞吐率

SliveTest

SliveTest位于hadoop的test包中，代码结构清晰，其主要功能是通过大量map制造多种rpc请求，检测Namenode的性能。我们可以设定map数量，每个map发起的rpc请求次数，每一种rpc操作占总操作的百分比，以及读写数据量、block size等配置。
下面列出slive可以调用的rpc操作种类：
ls 列出路径下所有文件和目录
append 追加写文件操作
create 创建文件操作
delete 删除文件操作
mkdir 创建目录操作
rename 重命名文件操作
read 读取文件内容操作

默认情况下，每个map有1000次操作，7种操作均匀的随机出现。slivetest运行时相关参数如下表所示：
maps 一共运行多少个mapper，默认值为10
ops 每个map跑多少个操作，默认值为1000
duration 每个map task的持续时间，默认值为MAX_INT，也就是无限制
exitOnError 遇到第一个Error是否要立即退出，默认不退出
files 最大生成文件数，默认为10
dirSize 每个文件夹最多允许生成多少个文件，默认为32
baseDir SliveTest运行后默认存放的文件根目录，默认为“/test/slive”
resFile 结果文件名，默认为“part-0000”
re