(转)hadoop的datanodes

最新推荐文章于 2024-05-29 11:38:20 发布
转载 最新推荐文章于 2024-05-29 11:38:20 发布 · 389 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/cicada_smile/article/details/109180161

本文详细介绍了Hadoop中DataNodes与NameNode的关系和交互机制。DataNodes存储数据块并定期向NameNode发送心跳以保持通信，报告其上的文件Block信息。NameNode通过心跳响应来管理DataNodes，包括数据复制和删除指令。当NameNode在指定时间内未收到心跳，会将DataNode标记为不可用。心跳间隔可在hdfs-site.xml配置文件中的dfs.heartbeat.interval参数设置。

转自https://blog.youkuaiyun.com/cicada_smile/article/details/109180161

dataNodes跟NameNode关系跟结构如下图

每个DataNode有多个数据块(Block),每个Block有两个文件 1.数据文件  2.元数据文件

DataNode启动后向NameNode注册，然后通过心跳机制(3秒一次)保持通信

DataNode请求NameNode表示自己是正常运行，上报自己的数据块信息，NameNode响应值带有操作DataNode的执行命令,如数据复制或删除

NameNode指定时间内没收到DataNode心跳，就把它当成“不可用”节点

配置文件是hdfs-site.xml

dfs.heartbeat.interval设置心跳时间,单位是秒

 

上报自己的数据块信息是指

dataNode告诉NameNode,什么文件的第几个block放在它那里，NameNode这个时候会将这些元数据信息写到edit logs文件中。

 

 

配置好后发现hadoop Datanodes available: 3
杨鑫newlife的专栏
01-11 1815
共13台服务器，我配置好了，之后发现datanode连接只有3. 然后配置是好的在呢么办呢？ hadoop dfsadmin -report查看，结果竟然是 [hadoop@master logs]$ hadoop dfsadmin -report Configured Capacity: 0 (0 KB) Present Capacity: 0 (0 KB) DFS Re
现成Hadoop安装和配置，图文手把手交你
小唐同学超级呆的博客
09-13 4517
现在我们回到windows先去寻找两个空闲网络，win+R 输入smd接着在windows命令行窗口输入。我们随便找两个靠后的，一个分配给namenode一个给datanode。添加第二台，步骤参考上面（账号root和密码123456）很明显，没有配置好之前是无法访问，配置好之后就可以回复了。里面有东西的哈，如果没有请检查是不是打错了。输入用户名和密码后，我们已经成功进入。1.两台已经配置好的hadoop。网关：两台机器的网关都是一样的。网关：两台机器的网关都是一样的。打开我们下载好的两台虚拟机。
数据节点Datanodes
weixin_30732825的博客
07-15 750
转载于:https://www.cnblogs.com/fanweisheng/p/11188187.html
DataNode（面试开发重点）
weixin_30914981的博客
08-15 286
1 DataNode工作机制 DataNode工作机制，如图所示。 　　1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 　　2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 　　3）心跳是每3秒一次，心跳...
Datanodes-心跳机制
weixin_30830327的博客
07-15 231
转载于:https://www.cnblogs.com/fanweisheng/p/11188192.html
HDFS介绍（二）Hadoop DataNode详解（转）
u013077314的博客
12-15 595
转自：https://blog.youkuaiyun.com/lb812913059/article/details/79717525   一个集群可能包含上千个DataNode节点（最多4000个？？？？？？？？没验证），这些DataNode定时和NameNode进行通信，接受NameNode的指令 为了减轻NameNode的负担，NameNode上并不永久保存哪个DataNode上有哪些数据块的信息...
第6章 DataNode
留不住斜阳的博客
06-02 651
HDFS DataNode工作机制
精选资源
大数据组件-监控-hadoop-datanodes的prometheus模板插件
01-29
大数据组件-监控-hadoop-datanodes的prometheus模板插件
hadoop3.1.3 DataNodes
最新发布
03-12
### Hadoop 3.1.3 DataNodes 配置及相关问题 #### 数据节点配置文件解析 对于Hadoop集群中的数据节点(DataNode)，主要的配置位于`$HADOOP_HOME/etc/hadoop/core-site.xml` 和 `$HADOOP_HOME/etc/hadoop/hdfs-site....
hadoop Starting datanodes
04-29
When starting Hadoop datanodes, you can use the following command: ``` hadoop-daemon.sh start datanode ``` This command will start the datanode daemon process on the current node. You can also use ...
(三)DataNode的剖析
weixin_37850264的博客
01-09 838
文章目录总体流程DataNode初始化DataNode注册知识点铺垫与NameNode相似，为服务端，所以在main启动注册结束总结 总体流程 DataNode初始化 DataNode注册 接下来讲解的是DataNode部分： 1）Datanode初始化：之前分析过jps，能看到的服务就认为是RPC的服务端。 在我们平时搭建集群的过程中，我们jps是能看到DataNode服务的。所以datanode应该就是RPC的服务端。 2）DataNode的注册：HDFS是一个主从式的架构。Namenode是一个
DataNode原理
qq_43668119的博客
03-26 438
Datanode原理： 除了能直接破坏数据本身的行为之外，也有一些因素能引起数据无法使用（如网络）。 心跳机制：namenode每隔3秒会询问datanode，查看datanode的情况。 步凑： 1.在启动服务的时候，DN向NN注册，告诉 当前节点的存储情况 2.NN告知DN，注册成功 3.DN每隔一个小时，向NN发送一次自己当前存储的情况 4.NN每隔3秒（心跳机制）向DN发送来连接测试请求...
Hadoop的datanode 服役(上线)和退役(下线)
weixin_41122339的博客
09-11 3249
Hadoop集群中管理员经常需要向集群中添加节点，或从集群中移除节点，例如:为了扩大存储容量，需要上线一个境界点，相反的，如果想要缩小集群规模，则需要解除节点，如果某些节点出现反常，例如故障率过高或者性能过于低下，则需要下线节点，在上线新节点(而且保证不关闭集群和不损害集群中某一天机器的数据节点数据块丢失情况下)，我们需要采用以下方式来解决这些问题 1，服役(上线)datanode(nod...
datanode无法启动_Hadoop DataNode启动和初始化过程
weixin_39682511的博客
11-29 282
简介我们先看DataNode的doc文档的介绍，DataNode是一个类，用于存储一组块，用于DFS部署。 单个部署可以有一个或多个DataNode。 每个DataNode通信定期与单个NameNode进行通信。 它还可以与客户端和其他的DataNodes通信。DataNode存储一系列命名的块。 DataNode允许客户端代码读取这些块，或者写新的块数据。 DataNode也可以响应于以下指令从...
Hadoop HDFS DataNode集群管理架构设计及核心原理分析
huxian1234的专栏
05-29 1259
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
奇迹虎虎的博客
03-03 6265
NameNode是什么？DataNode是什么？SecondaryNamenode是什么？
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
Matrix70的博客
08-03 4577
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
DataNode工作机制
mischen520的博客
05-04 336
（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。 DN向NN汇报当前解读信息的时间间隔，默认6小时； <property> <name>dfs.blockreport.intervalMsec</name> <value&gt...
HDFS源码分析——DataNode启动流程
机械工程跑路哥
10-08 2965
NameNode启动时，主要的几个步骤分别是： 1. `initDataXceiver` 初始化服务线程，用于接收Client和其他DataNode发来的数据 2. `startInfoServer` 初始化HTTP服务 3. `initIpcServer` 初始化RPC服务端 4. refreshNameNodes→doRefreshNamenodes →`createBPOS` 创建BPOS服务 ； →startAll→`connectToNNAndHadnshake`→`registerDatanod
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值