本文详述了如何在限制网速的环境下测试HDFS的写入和读取性能。通过对一个3台服务器的HDFS集群进行10个128M文件的写入和读取测试，结果显示写性能接近100Mbps限制的网速，表明网络资源已充分利用；而读性能远超网速，接近磁盘读写速度，说明数据读取主要依赖本地副本，未涉及网络传输。测试结果可用于评估集群性能并优化硬件配置。
集群搭建好后，我们一般都会关心：我们的数据多久能上传到集群？以及多久能从HDFS上拉取到我们需要的数据？为了了解HDFS的读写性能，我们需要对集群进行压测。
HDFS的读写性能主要受到网速和磁盘读写速度的影响。所以我们主要也是通过这两方面进行测试。
0.测试环境
搭建一个拥有3台服务器（3个DataNode）的集群，副本数量设置为3。
为了方便测试，将网速限制在100Mbps。
100Mbps单位是 bit，10M/s单位是 byte，1byte = 8bit，100Mbps/8 = 12.5M/s
1.测试HDFS写性能
在限制网速的情况下测试HDFS的写性能。
Q：为什么要限制网速测试HDFS的写性能？
A：在限制网速的情况下，若HDFS的写速度接近网速的“全速”，则说明此时限制HDFS写性能的就是我们限制的网速，而不是磁盘的读写速度；若HDFS的写速度远远小于网速的“全速”，则说明此时限制HDFS写性能的是磁盘的读写速度。
测试内容： 向HDFS集群写10个128M的文件。使用Hadoop自带的测试用例 TestDFSIO -write。
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3
最低0.47元/天 解锁文章
扫一扫
500
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
