HDFS块分配策略
块分配策略流程图
注:上图提到的远程机架与本地机架是相对于找到的第一个副本的目标节点来说。
一个客户端a机器发起请求分配块请求,NN接收到请求后,执行如下块分配流程:
1) 如果a不是一个DataNode,则在集群范围内随机选择一个节点作为目标节点,否则执行下面的2,3步骤;
2) 判断a机器是否符合存储数据块的目标节点,如果符合,第一个块副本分配完毕;
3)如果a机器不符合作为目标节点,则在于与a机器同机架范围内寻找,如果找到目标节点,第一个块副本分配完毕;
4)如果在同一个机架内未找到符合要求

本文介绍了HDFS的块分配策略,从客户端发起请求开始,详细阐述了NN如何选择目标节点,包括本地机架和远程机架的选择,以及副本分配的多个阶段。在选择目标节点时,考虑了节点状态、存储空间、负载均衡等因素,确保数据的安全性和分布均匀。
最低0.47元/天 解锁文章
752

被折叠的 条评论
为什么被折叠?



