DataNode寻找NameNode

最新推荐文章于 2022-09-20 00:19:27 发布
最新推荐文章于 2022-09-20 00:19:27 发布
阅读量530 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smugaoyi/article/details/74129782
本文解释了DataNode启动时如何找到归属的NameNode。通过分析DataNode与NameNode之间的标识符，即Block Pool ID，了解Hadoop集群中节点间的关联机制。为保持一致性，在NameNode格式化后需清理DataNode工作目录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DataNode启动时是怎样寻找它所属的NameNode的呢？

原来在它的块数据存储在它所在主机的本地文件系统中，比如我的是在如下的目录中

在current目录下有BP-987952527-192.168.220.129-1498325297029，这个文件夹的名字是NameNode赋予它的，也可以说是NameNode给它打的一个标签，以表明该DataNode属于某个NameNode。

那NameNode自己是怎么记录该标签的呢？

在NameNode的临时数据区，如下所示

有个VERSION文件，该文件中就有记录该标签的信息，blockpoolID=BP-987952527-192.168.220.129-1498325297029 ，这个和DataNode临时数据区中的

BP-987952527-192.168.220.129-1498325297029 是一样的，这就是NameNode用来识别DataNode的标签。


所以：在NameNode格式化后，要删除DataNode的工作目录，以保持这些数据的一致性。




namenode无法识别到datanode节点
weixin_48879833的博客
06-11 829
namenode无法连接datanode节点，datanode节点在namenode webUI界面不显示，显示数据存储为0，datanode节点数为0，datanode节点不显示
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 4181
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
hadoop中hadoop Live Nodes :0，datanode无法连接上namenode
昆兰.沃斯 的博客
01-10 1886
很难受，真的很难受，近一个星期没有睡好觉了，就因为这个问题。用了两天找错误，终于找到了错误。 用了四天来该错误，每一天都是煎熬，锻炼了自己的毅力（值得安慰一下）。由于网上基本上找不到这个错误， 所以才搞了这么久，这篇博客两个意义 其一：自己做笔记，记录错误心得，以及解决问题的思路。 其二：分享一下，帮助其他遇到困难的朋友，少走弯路啊！！！！！！ 正文如下： start-dfs.sh开启
NameNode DataNode
James_bobo的博客
03-12 363
1.数据块的大小设置为多少合适为什么？ hadoop数据块的大小一般设置为128M，如果数据块设置的太小，一般的文件也会被分割为多个数据块，在访问的时候需要查找多个数据块的地址，这样的效率很低，而且如果数据块设置太小的话，会消耗更多的NameNode的内存；而如果数据块设置过大的话，对于并行的支持不是太好，而且会涉及系统的其他问题，比如系统重启时，需要从新加载数据，数据块越大，耗费的时间越...
在Linux上查看Namenode的元数据
LaZY的博客
06-16 1330
1.进入~目录 2.进入hadoop目录 3.进入dfs/name/current目录 4.进入后即为元数据信息
【使用zookpeer】模拟 hadoop的 datenode与namenode 的master-slaves的 关系
qq_49032728的博客
05-08 716
功能: 当 datanode上线时，namenode中可以感知到. 当datanode下线时，namenode中可以感知到. 分析： 当datanode上线时，datanode在zk中创建的节点类型为 瞬时的顺序节点．　 ２．　namenode临听节点的变化情况，一旦有一个datanode下线，则这个节点会删除，namenode会自动回调》 请用对象流完成 datanode的 信息的注册. datanode的节点信息: System中获取 properties. 前提: 利用zk完成,请先在z
NameNode总结
chenpi5985的博客
07-31 370
一 NameNode的作用 NameNode是文件系统的大脑，管理文件的命名空间以及对集群中文件的访问，存储着元数据。保存的最重要的两个映射：文件名&数据块(保存在磁盘上，持久化的) ，数据块&DateNode列表(NameNode不保存，是通过DataNode传...
HDFS心跳机制分析：datanode与namenode的通信秘密
[HDFS心跳机制分析：datanode与namenode的通信秘密](https://media.geeksforgeeks.org/wp-content/cdn-uploads/20200728155931/Namenode-and-Datanode.png) # 1. HDFS心跳机制概述 Hadoop分布式文件系统（HDFS）...
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 3079
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
在修复多次格式化导致的datanode无法加入集群的这个步骤里面，我在哪里寻找datanode的Id和namenode的ID呢，我安装的版本似乎与你的不同，因为我的/usr/hadoop/data下没有namenode或者datanode，就只有一个current文件夹
03-11
好的，用户之前遇到了Hadoop启动后DataNode不存在的问题，现在在解决多次格式化导致的clusterID不一致的问题时，发现自己的Hadoop安装路径下没有namenode或datanode目录，只有一个current文件夹。用户需要找到...
linux虚拟机，启动hadoop2.7.7后，未出现namenode,datanode
最新发布
03-31
另外，日志文件是排查问题的关键，需要指导用户查看NameNode和DataNode的日志，寻找错误信息，比如绑定异常、权限问题或端口冲突。 还要考虑SSH无密码登录是否配置正确，因为Hadoop的脚本依赖SSH来启动各个节点，...
HDFS HA之NameNode状态管理切换
qq_41018861的博客
09-13 4408
在开启HDFS HA之后，用命令查询、管理NameNode节点的状态，
Namenode如何保存文件信息Namenode如何查找文件
LaZY的博客
06-16 1901
原文链接 过程总览 hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的处理（比如按照block大小进行分割）。这里主要讲述存放的一个整体过程以及如何快速的找到存放的节点位置信息。 实现namenode的源码中有一个与文件系统存储和管理有关的关键类FSNameSystem，里面有以下的一些概念： INode: 用来存放文件...
namenode ID与datanode 不匹配 找不到datanode
qq_38195641的博客
04-12 950
解决hahdoop中由于多次格式化namenode 造成的namenode ID与datanode 不匹配 找不到datanode 找到hadoop的配置文件/usr/local/hadoop/etc/hadoop/ 就是之前配置伪分布式hdfs时修改过的2个配置文件 core-site.xml 和 hdfs-site.xml 。 打开 core-site.xml 查看data 和name 地址 ...
hadoop namenode的工作机制
lzf的博客
02-26 3794
hadoop 集群中有两种节点，一种是namenode，还有一种是datanode。 其中datanode主要负责数据的存储，namenode主要负责三个功能，分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下，元数据格式 hdfs在外界看来就是普通的文件系统，可以通过路径进行数据的访问等操作，但在实际过程存储中，却是分布在各个节点上。如上图所示，是一条元数...
【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode，总显示0
lxyhenpiaoliang的博客
07-25 3628
【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode，总显示0
hdfs datanode_如何找到在HDFS中实际存储文件的DataNode？
cuma2369的博客
07-21 1613
hdfs datanodeA file may be splitted to many chunks and replications stored on many datanodes in HDFS. Now, the question is how to find the DataNodes that actually store a file in HDFS? 一个文件可能被分割成许多块，并...
Hadoop 之 动态添加一个新节点（dataNode）到集群中（nameNode）
py_tamir的博客
07-11 1772
目录 1、新节点操作 2、主节点操作 3、web UI 查看 4、修改副本数 1、新节点操作 手动启动 datanode 命令：hadoop-daemon.sh start datanode 手动启动 nodemanager 命令：yarn-daemon.sh start nodemanager 2、主节点操作 刷新datanode节点 命令：hadoop dfsadmin...
如果hadoop被重新格式化，那么datanode会找不到namenode的集群id，解决办法
weixin_37539225的博客
03-31 442
进入路径 hadoop-xx.xx/data/tmp/dfs/ 这里边应该有个data文件，里面存放了datanode日志， 将其删除， 即 rm -rf data， 重新执行 hadoop-daemon.sh start datanode 再输入jps，就可以看到创建的datanode了 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值