HDFS网络拓扑-节点距离计算

最新推荐文章于 2024-03-12 15:15:51 发布
原创 最新推荐文章于 2024-03-12 15:15:51 发布 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hdfs #hadoop #网络拓扑 #计算机网络

在HDFS中，NameNode如何选择最接近的DataNode来接收数据？文章详细解析了节点距离的概念，即两个节点到达最近共同祖先的距离总和，并通过实例说明了四种不同的距离描述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在HDFS写数据的过程中，NameNode 会选择距离上传数据最近的 DataNode 接收数据。那么这个最近距离是如何计算的呢？

节点距离：两个节点到达最近的共同祖先的距离总和

例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述，如下图：

在这里插入图片描述

大数据之-Hadoop之HDFS的API操作_网络拓扑_节点离客户端的距离计算---大数据之hadoop工作笔记0067
添柴程序猿的专栏
04-05 459
然后我们再来看一下,我们说,namenode,在响应客户端发来的,文件上传的请求以后,会响应给客户端 告诉客户端,应该把数据,存到哪几个节点上去.比如这里返回给了客户端datanode1,datanode2,datanode3. 这3个节点. 那么为什么返回的是datanode1,datanode2,datanode3,这3个节点呢,依据是什么呢? 我们说主要依据,节点离客户端的距离,以及节点的负载情况,那么 节点离客户端的距离是如何计算的呢? 注意,比如datanode1---...
Hadoop的核心--HDFS
weixin_43908779的博客
03-21 447
Hadoop 1、 Hadoop的介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架M...
HDFS机架感知，网络拓扑，节点距离计算
zzaliubi的博客
04-21 914
HDFS机架感知 一、网络拓扑、节点距离计算 Distance(/d1/r1/n0, /d1/r1/n0)=0 同一节点上的进程 Distance(/d1/r1/n1, /d1/r1/n2)=2 同一机架上不同节点 Distance(/d1/r1/n1, /d1/r2/n1)=4 同一数据中心，不同机架上的节点 Distance(/d1/r1/n1, /d2/r1/n1)=6 不同数据中心上的节点 二、机架感知 1.机架感知简介 机架感知的存在，是因为HDFS的副本放置策略需要机架感知，并且可以提高集群性能
HDFS节点距离计算
weixin_62675848的博客
11-02 600
在HDFS写数据的过程中，NameNode会选择距离待上传最近距离的DataNode接收数据。最近距离的值为两个节点共同祖先的距离总和。 机架感知 第一个副本在客户端所处的节点上，如果客户端在节点外，随机选一个。 第二个副本在另一个机架的随机一个节点上，位于和第一个节点相同的框架，框架中的随机节点。 第三个副本位于相邻的随机机架里的随机节点 对于以上机架感知，需要考虑的因素如下： 1：对于第一个副本选择本地机架，距离近，上传速度快。 2：第二个副本选择远程机架的随机节点，保证数据可靠性。 3： 第三个副本
hadoop--HDFS_机架感知与网络拓扑节点距离计算
FunnyPrince_的博客
09-02 644
目录机架感知二级目录三级目录 机架感知 1.第一个副本选择本地机架，距离近，上传速度快； 2.第二个副本选择远程机架的随机节点，保证数据的可靠性； 3.第三个副本选择第二个副本所在机架的随机节点，而不是其他机架，是同时兼顾可靠性+效率； 二级目录 三级目录 ...
节点距离计算
weixin_62603525的博客
10-30 479
节点距离计算 节点距离=两节点到达最近的共同祖先的距离总和 在同一机架的同一节点的进程：他们之间的距离为0，0*2=0 同一机架不同点的进程：他们共同的祖先就是这个机架； n1,n2的共同祖先是r1; 两节点之间的距离...
HDFS写数据流程、网络拓扑-节点距离计算、机架感知
weixin_66383346的博客
03-12 358
创建流，首先创建Block传输通道，同时将数据分成多个packet发送，并生成ack队列看是否应答成功。第一个副本选择在本地节点，即客户端所在机架。第三个副本选择在与第二个副本相同的机架上。第二个副本选择在不同机架上的另一个节点。创建一个分布式文件系统（DistributedFileSystem），想在。中NameNode进行目录检查（检查权限、目录结构），并响应可以上传文件。：客户端要上传一个200m的数据，hdfs是如何写入并存储的。原因：节点距离最近，上传最快。：一个客户端，一个集群。
HDFS命令
weixin_44976835的博客
08-20 1408
hdfs常用命令： 第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类：空间大小查看系列命令： hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小 hdfs dfs -dus uri 递归显示目标
节点距离的计算
Sula_G的博客
11-01 246
节点距离=两个节点到达最近的共同祖先的距离总和 在同一节点上，它们之间的距离当然是0，2*0=0 在同一机架上的不同节点，它们的共同祖先就是这个机架，而这两个节点到机架的距离都是1，所以这两个节点的距离为1+1=2 在同一集群的不同机架上的节点，它们的共同祖先是集群，而这两个节点要到达集群，首先要到这个机架(距离1)，然后到达集群(距离2)，所以两个节点的距离为2+2=4 在同一数据中心的不同集群上，它们的共同祖先是数据中心，以此类推，一个节点到数据中心的距离是3，两个节点的距离就是3+3=6 ...
节点的距离运算
m0_62633896的博客
11-03 190
同一节点上距离=0. 同一机架不同节点的距离=2 (因为是在同一个机架，节点到机架的距离=1，所以1+1=2)同一集群的不同机架上的结点的距离=4. (因为在同一个集群中，每一个节点要到达集群的时候都要先从节点到机架(1步)机架到集群(1步))同一数据中心不同集群节点的距离=6.(节点–机架 1机架–集群 1 集群–数据中心 1 一个节点到数据库3步两个3+3=6) 上面计算均为2个节点之的距离运算的结果。 ...
在hdfs中集群的拓扑信息是怎么管理的
最新发布
08-06
确保行内数学表达式使用$...$：在回答中，如果有数学内容，如公式，但HDFS拓扑管理不涉及数学，所以可能不需要。但系统指令说“包括变量、不等式、方程等”，所以如果有，就用。但在这里，可能不适用。 最后，添加...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值