HDFS副本放置策略和文件的读写流程

最新推荐文章于 2024-05-07 10:55:02 发布

原创

最新推荐文章于 2024-05-07 10:55:02 发布 · 403 阅读

0 ·

CC 4.0 BY-SA版权

HDFS的副本放置策略包括：第一个副本通常放置在上传节点或随机选择的节点，第二个副本放在不同机架的节点，第三个副本在第二个副本的同机架不同节点。文件读取时，客户端首先从NameNode获取文件块位置，按拓扑排序，从最近的DataNode开始读取并检查。文件写入时，客户端通过NN获取block列表，依次写入DataNode，若失败则尝试其他副本节点。

HDFS副本放置策略

在这里插入图片描述
第一个副本:
假如上传节点为DN节点，优先放置本节点；
否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点；

第二个副本:
放置在于第一个副本的不同的机架的节点上

第三个副本:
放置于第二个副本相同机架的不同节点上

其它副本
随机挑选

备注：
CDH机架有一个默认机架虚拟的概念；
CDH一般不调整这种默认机架

文件读流程

在这里插入图片描述

1.首先client调用FileSystem对象的open(filePath)方法，与namenode通过[rpc]通信获得文件的第一批块(Block)的位置信息，这些位置信息按照Hadoop拓扑结构排序，距离客户端近的排在前面，也就是返回一个文件系统数据输入流(FSDataInputStream)对象
2.client调用FSDataInputStream对象read方法，会找出第一个块最近的DataNode进行read,读取完成后，会check,假如ok，就关闭与当前DN的通信；假如失败，会记录失败块+DataNode信息，下次不会再读取；然后去第二个块的最近的DN上通信读取，check后，关闭通信.
数据从DataNode源源不断地流向客户端
3.如果第一批块都读取完了，FSDInputStream就会去NameNode拿下一批块的位置信息，然后继续读，如果所有的块都读完了，这时就会Client调用FSDataInputStream.close()方法，关闭输入流.