chaohui2638457321的博客

HDFS 一、HDFS架构 HDFS块大小的问题： Hadoop1.x默认block大小64MB Hadoop2.x 3.x默认block大小128MB 实际生产中一般256MB或512MB 块大小的设置依据： 经过大量测试得出的结论：磁盘寻址时间和文件读写时间为1:100时，HDFS性能最佳 block过小，文件数量较多，NN压力较大，文件查找时间增加 block过大，读取一个block的时间较长，单个MapTask处理较慢 HDFS 命令行操作 hadoop fs -命令 .

三、HDFS写数据流程 （1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 （4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 （5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后d.