大数据之-Hadoop之HDFS的API操作_网络拓扑_节点离客户端的距离计算---大数据之hadoop工作笔记0067

本文介绍了Hadoop中Namenode如何根据节点与客户端的距离及负载情况选择DataNode进行文件上传。节点间的距离计算基于网络拓扑,例如在同一机架内距离为2,不同机架但同集群内为4,不同集群则为6。网络拓扑的理解有助于优化HDFS的数据分布策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

然后我们再来看一下,我们说,namenode,在响应客户端发来的,文件上传的请求以后,会响应给客户端

告诉客户端,应该把数据,存到哪几个节点上去.比如这里返回给了客户端datanode1,datanode2,datanode3.

这3个节点.

 

那么为什么返回的是datanode1,datanode2,datanode3,这3个节点呢,依据是什么呢?

我们说主要依据,节点离客户端的距离,以及节点的负载情况,那么

节点离客户端的距离是如何计算的呢?

 

注意,比如datanode1------该机房的出口交换机------datanode2

这样的话,那么datanode1和datanode2的距离就会被认为是2

datanode1------该机房的出口交换机 的距离是1,

该机房的出口交换机------datanode2的距离是1,

1+1 =2 .

 

可以看到比如上面是个大的数据中心机房

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值