DataNode寻找NameNode

最新推荐文章于 2022-09-20 00:19:27 发布
最新推荐文章于 2022-09-20 00:19:27 发布
阅读量529 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/smugaoyi/article/details/74129782
本文解释了DataNode启动时如何找到归属的NameNode。通过分析DataNode与NameNode之间的标识符，即Block Pool ID，了解Hadoop集群中节点间的关联机制。为保持一致性，在NameNode格式化后需清理DataNode工作目录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DataNode启动时是怎样寻找它所属的NameNode的呢？

原来在它的块数据存储在它所在主机的本地文件系统中，比如我的是在如下的目录中

在current目录下有BP-987952527-192.168.220.129-1498325297029，这个文件夹的名字是NameNode赋予它的，也可以说是NameNode给它打的一个标签，以表明该DataNode属于某个NameNode。

那NameNode自己是怎么记录该标签的呢？

在NameNode的临时数据区，如下所示

有个VERSION文件，该文件中就有记录该标签的信息，blockpoolID=BP-987952527-192.168.220.129-1498325297029 ，这个和DataNode临时数据区中的

BP-987952527-192.168.220.129-1498325297029 是一样的，这就是NameNode用来识别DataNode的标签。


所以：在NameNode格式化后，要删除DataNode的工作目录，以保持这些数据的一致性。




namenode无法识别到datanode节点
weixin_48879833的博客
06-11 827
namenode无法连接datanode节点，datanode节点在namenode webUI界面不显示，显示数据存储为0，datanode节点数为0，datanode节点不显示
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 4176
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
NameNode DataNode
James_bobo的博客
03-12 363
1.数据块的大小设置为多少合适为什么？ hadoop数据块的大小一般设置为128M，如果数据块设置的太小，一般的文件也会被分割为多个数据块，在访问的时候需要查找多个数据块的地址，这样的效率很低，而且如果数据块设置太小的话，会消耗更多的NameNode的内存；而如果数据块设置过大的话，对于并行的支持不是太好，而且会涉及系统的其他问题，比如系统重启时，需要从新加载数据，数据块越大，耗费的时间越...
在Linux上查看Namenode的元数据
LaZY的博客
06-16 1330
1.进入~目录 2.进入hadoop目录 3.进入dfs/name/current目录 4.进入后即为元数据信息
【使用zookpeer】模拟 hadoop的 datenode与namenode 的master-slaves的 关系
qq_49032728的博客
05-08 713
功能: 当 datanode上线时，namenode中可以感知到. 当datanode下线时，namenode中可以感知到. 分析： 当datanode上线时，datanode在zk中创建的节点类型为 瞬时的顺序节点．　 ２．　namenode临听节点的变化情况，一旦有一个datanode下线，则这个节点会删除，namenode会自动回调》 请用对象流完成 datanode的 信息的注册. datanode的节点信息: System中获取 properties. 前提: 利用zk完成,请先在z
NameNode总结
chenpi5985的博客
07-31 370
一 NameNode的作用 NameNode是文件系统的大脑，管理文件的命名空间以及对集群中文件的访问，存储着元数据。保存的最重要的两个映射：文件名&数据块(保存在磁盘上，持久化的) ，数据块&DateNode列表(NameNode不保存，是通过DataNode传...
HDFS心跳机制分析：datanode与namenode的通信秘密
[HDFS心跳机制分析：datanode与namenode的通信秘密](https://media.geeksforgeeks.org/wp-content/cdn-uploads/20200728155931/Namenode-and-Datanode.png) # 1. HDFS心跳机制概述 Hadoop分布式文件系统（HDFS）...
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 3076
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
在修复多次格式化导致的datanode无法加入集群的这个步骤里面，我在哪里寻找datanode的Id和namenode的ID呢，我安装的版本似乎与你的不同，因为我的/usr/hadoop/data下没有namenode或者datanode，就只有一个current文件夹
03-11
好的，用户之前遇到了Hadoop启动后DataNode不存在的问题，现在在解决多次格式化导致的clusterID不一致的问题时，发现自己的Hadoop安装路径下没有namenode或datanode目录，只有一个current文件夹。用户需要找到...
linux虚拟机，启动hadoop2.7.7后，未出现namenode,datanode
最新发布
03-31
另外，日志文件是排查问题的关键，需要指导用户查看NameNode和DataNode的日志，寻找错误信息，比如绑定异常、权限问题或端口冲突。 还要考虑SSH无密码登录是否配置正确，因为Hadoop的脚本依赖SSH来启动各个节点，...
HDFS HA之NameNode状态管理切换
qq_41018861的博客
09-13 4387
在开启HDFS HA之后，用命令查询、管理NameNode节点的状态，
Namenode如何保存文件信息Namenode如何查找文件
LaZY的博客
06-16 1901
原文链接 过程总览 hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的处理（比如按照block大小进行分割）。这里主要讲述存放的一个整体过程以及如何快速的找到存放的节点位置信息。 实现namenode的源码中有一个与文件系统存储和管理有关的关键类FSNameSystem，里面有以下的一些概念： INode: 用来存放文件...
Hadoop获取namenode的命令
热门推荐
卧龙居
03-31 1万+
在某些场景下，我们需要及时的得到Hadoop的当前的一些配置信息，例如namenode。 hadoop下的命令如下： 为了更好的在程序中使用，我们可以封装一个相应的方法： #coding:utf-8 import os import subprocess def getNameNode(): hadoopPath = os.environ["HADOOP_CONF_DIR"
hdfs datanode_如何找到在HDFS中实际存储文件的DataNode？
cuma2369的博客
07-21 1613
hdfs datanodeA file may be splitted to many chunks and replications stored on many datanodes in HDFS. Now, the question is how to find the DataNodes that actually store a file in HDFS? 一个文件可能被分割成许多块，并...
Hadoop 之 动态添加一个新节点（dataNode）到集群中（nameNode）
py_tamir的博客
07-11 1771
目录 1、新节点操作 2、主节点操作 3、web UI 查看 4、修改副本数 1、新节点操作 手动启动 datanode 命令：hadoop-daemon.sh start datanode 手动启动 nodemanager 命令：yarn-daemon.sh start nodemanager 2、主节点操作 刷新datanode节点 命令：hadoop dfsadmin...
集群namenode和datanode的丢失找回
qq_43617838的博客
12-27 1163
如果namenode丢失操作如下： 在hadoop-2.7.3的bin目录下： 格式化：hadoop namenode -format 查看状态：jps 停止hdfs：stop-dfs.sh 开始hdfs：start-dfs.sh jps 如果DataNode丢失： Hadoop-2.7.3下的tmp文件夹操作： cd /tmp/dfs/name/current vim VERSION ...
namenode ID与datanode 不匹配 找不到datanode
qq_38195641的博客
04-12 950
解决hahdoop中由于多次格式化namenode 造成的namenode ID与datanode 不匹配 找不到datanode 找到hadoop的配置文件/usr/local/hadoop/etc/hadoop/ 就是之前配置伪分布式hdfs时修改过的2个配置文件 core-site.xml 和 hdfs-site.xml 。 打开 core-site.xml 查看data 和name 地址 ...
hadoop nameNode和dataNode怎么管理
zhou920786312的博客
03-12 1097
mini4（dataNode）的文件怎么知道mini-yum(nameDate)的呢？ 或者说别的集群的nameNode可以加入到当前的mini-yum中吗？ 首先查看dataNode的文件信息 下图有2处重要的信息 第一个红框的内容是怎么来的呢，其实第一个红框的内容是来自namenode,怎么说？请看namenode的信息 有上图可以知道，datanode的版本信息来自...
新增datanode
lepton126的专栏
06-07 714
在不中断hadoop集群运行的情况下在，完成新加datanode节点的工作 1、检查namenode和datanode的/etc/hosts，确保一致 2、检查namenode设备上的hadoop安装目录下的/etc/hadoop/slaves,确认将新加节点已经加入到文件中 3、实现namenode到新增datanode节点的ssh无密码登录 4、下载与namenode同版本的jdk和h
查看namenode地址_我对HDFS的一些理解——HA模式下NameNode启动过程
weixin_35999303的博客
02-01 1194
我对HDFS的一些理解——NameNode启动过程。public static void main(String argv[]) throws Exception { if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) { System.exit(0); } try { //输出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值