Hadoop Datanode 源码之BlockPoolManager源码流程

最新推荐文章于 2022-05-25 23:03:48 发布
原创 最新推荐文章于 2022-05-25 23:03:48 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #hadoop #源码 #大数据 #hdfs

本文深入探讨了Hadoop DataNode（DN）的BlockPoolManager组件，它负责管理多个块池，并通过BPOfferService与NameNode（NN）进行交互。每个BPOfferService包含两个BPServiceActor，周期性地发送心跳、块汇报等信息给NN，并执行NN的指令。BlockPoolManager是DN与NN通信的关键，确保了Hadoop分布式存储系统的稳定运行。

DN结构

Datanode结构可划分为3个层
DN结构

BlockPoolManager

DN拥有一个BlockPoolManager实例（用于管理多个块池，一个名称空间只有一个块池），BlockPoolManager拥有多个BPOfferService对象（每个对象都封装对单个块池的api），对于BPOfferService对象的创建、移除、启动、停止等操作必须通过类BlockPoolManager的API来完成，每个BPOfferService拥有两个BPServiceActor，每个BPServiceActor封装对单nn的操作，周期性向Namenode发送心跳、 块汇报、 增量块汇报以及缓存汇报， 同时执行Namenode发回的指令等等
总而言之，就是该服务负责与NN交互，通过BlockPoolManager实现对块池的操作。

BlockPoolManager源码流程

由于时间关系就不详细进入各个方法，这是总结的源码流程
BlockPoolManager

Hadoop之DataNode启动源码解析
qq_45115959的博客
08-17 749
DataNode类是 Hadoop 分布式文件系统 (HDFS) 中的一个核心组件，它负责存储文件系统的数据块。每个部署可以包含一个或多个DataNode实例。DataNode与NameNode通信以报告其存储状态，并响应来自NameNode的指令，如删除或复制块等操作。此外，DataNode还需要与客户端代码和其他DataNode进行交互。
3. HDFS源代码分析之DataNode BlockScanner实现
cl2010abc的专栏
06-22 507
BlockScanner实现
Hadoop3.2.1 【 HDFS 】源码分析 : BlockPoolManager 解析
张伯毅的专栏
11-20 3561
一. 前言 BlockPoolManager类负责管理所有的BPOfferService实例， 对外提供添加、 删除、 启动、 停止、 关闭BPOfferService类的接口。 所有对BPOfferService的操作， 都必须通过BlockPoolManager类提供的方法来执行。 DataNode.startDataNode()方法初始化了BlockPoolManager对象， 然后调用BlockPoolManager.refreshNamenodes()方法完成对BlockPoolManager的构
datanode----nitialization failed for Block pool <registering> (Datanode Uuid unassigned) service to
qq_23559599的博客
01-08 4946
2016-01-08 11:34:57,575 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to node167/172.24.2.167:9000. Exiting. java.io.
Hadoop3.2.1 【 HDFS 】源码分析 : BPServiceActor 解析
张伯毅的专栏
11-18 3473
一.前言 一个HDFS集群可以配置多个命名空间(Namespace） ， 每个Datanode都会存储多个块池的数据块。 所以在Datanode实现中， 定义了BlockPoolManager类来管理Datanode上的所有块池， Datanode的其他模块对块池的操作都必须通过BlockPoolManager执行， 每个Datanode都有一个BlockPoolManager的实例。 由于在HDFS Federation部署中， 一个Datanode会保存多个块池的数据块， 所以BlockPoolMana
hadoop之BlockPoolManager源码分析
happy19870612's blog
11-22 1906
在HDFS Federation架构中, 一个HDFS集群可以创建多个命名空间，每一个DataNode都可以存储多个BlockPool的的数据块，所以在 DataNode定义了一个BlockPoolManager用于管理DataNode上所有的块池。 DataNode 其他模块要对BlockPool操作必须通过BlockPool Manager来执行，每一个DataNode都有一个BlockM
HDFS写文件之DataNode源码分析
司马班如
05-24 404
接上一篇文章，DataNode在写文件的时候，是通过写入各种校验码，以DFSPacket的形式写入DataNode，DataNode会进行一系列处理，我简要地画了一个图，来表示DataNode在接收客户端的时候，进行的一系列操作。如下图所示： 然后来进行一系列的源码分析 1.首先是Client通过new Sender.writeBlock向DataNode来发送写文件请求，DataNode内部有一个DataXceiverServer对象来处理来Scoket请求，每次接收到请求的时候，会创建一个DataXc
深入解析Hadoop DataNode源码
在Hadoop分布式文件系统(HDFS)中，DataNode是核心组件之一，负责存储和处理数据块。本篇将深入探讨DataNode的主要功能和源码实现，特别是`DataNode.java`中的关键方法。 1. **启动流程** 当DataNode启动时，它会...
hadoop 源码解析-DataNode
06-06
Hadoop 源码解析 - DataNode Hadoop 作为一个大数据处理框架，其核心组件之一是分布式文件系统（HDFS），而 DataNode 是 HDFS 中的重要组件之一。DataNode 负责存储和管理数据块，提供数据访问服务。本文将对 ...
Hadoop源码分析- RPC DataNode
04-19
Hadoop的源码分析可以帮助开发者深入理解其内部工作机制，尤其是核心组件RPC（远程过程调用）DataNode。 DataNode是Hadoop分布式文件系统（HDFS）中的一个组成部分，负责管理数据存储和提供数据的读写服务。在...
hadoop-2.8.1源码
10-31
《深入剖析Hadoop 2.8.1源码：分布式系统的智慧结晶》 Hadoop，作为开源的大数据处理框架，自2006年诞生以来，一直是大数据领域的重要支柱。其2.8.1版本是Hadoop发展的一个关键节点，为用户提供了更稳定、高效的...
源码|HDFS之DataNode：启动过程
weixin_34365417的博客
01-29 431
掌握Mac编译Hadoop源码与Hadoop单步debug追源码后，就能告别人肉调用栈，利用IDE轻松愉快的追各种开源框架的源码啦~ 今天是HDFS中DataNode的第一篇——DataNode启动过程。 源码版本：Apache Hadoop 2.6.0 可参考猴子追源码时的速记打断点，亲自debug一遍。 在开始之前 总览 HDFS-2.x与1.x的核心区别： 为支持Federatio...
DataNode启动流程
qq_16495805的博客
06-03 2083
核心类: DataNode (主进程类) BlockPoolManager (块池管理类) BPOfferService (管理一对BPServerActor) BPServerActor (连接NameNode和StandByNameNode) DataXSeverServer (对外提供独写Block服务) DataNode：名称节点的进程类，入口就是main方法 org.apache....
datanode无法启动Block pool ID needed, but service not yet registered with NN
Curry_lee_3的博客
09-11 5530
内容描述 服务器的datanode在启动时报Block pool ID needed, but service not yet registered with NN，报错内容： 2020-08-29 20:40:26,224 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN, trace: java.lang.Exception
Hadoop知识记录
承缘丶
02-02 1996
目录 概念： Block的拆分标准： 数据块Block介绍： 拆分的数据块需要等大： HDFS存储注意事项： Block数据安全： NameNode： DataNode： 汇报： 日志机制： 拍摄快照： SNN的解决方案： 安全模式： 机架感知： 第一个节点： 第二个节点： 第三个节点： 第N个节点： HDFS写流程（宏观）： HDFS写流程（微观）： HDFS读流程： HA： Active NameNode(ANN)： 工作： 存储介质： Stand..
Hadoop源码解析
weixin_44468025的博客
05-25 4436
一、hadoop的Job 提交流程源码 流程图： 1.从我们编写的mapreduce的代码中进入job提交源码 支线一：进入connect(); 2.支线二：进入submitter.submitJobInternal(Job.this, cluster) 该方法（submitter.submitJobInternal(Job.this, cluster)）往下翻： 存入了切片信息的本地路径 submitter.submitJobInternal(Job.this, cluster)方法继
39 BlockManager深入理解
Hipparchus的博客
07-27 2328
主要内容： 1. BlockManager源码再探 2. BlockManagerMaster 3. BlockManager具体读写数据源码
Hadoop学习笔记5之HDFS Block
寸先生的AI道路
05-30 1834
       HDFS的块比磁盘块大，目的是为了最小化寻址开销。如果块设置的足够大，从磁盘传输数据的时间可以明显大于定位这个块开始位置所需要的时间。这样，传输一个由多个块组成的文件的时间取决于磁盘传输速率。       寻址时间10ms左右，HDFS使让块寻址时间占用读取时间的1%，以传输速率100MB/s为例，设置块大小为128MB。      但是该参数也不会设置得过大。MapReduce中的...
HDFS源码分析心跳汇报之BPServiceActor工作线程运行流程
weixin_34167819的博客
03-19 183
在《HDFS源码分析心跳汇报之数据结构初始化》一文中，我们了解到HDFS心跳相关的BlockPoolManager、BPOfferService、BPServiceActor三者之间的关系，并且知道最终HDFS的心跳是通过BPServiceActor线程实现的。那么，这个BPServiceActor线程到底是如何工作的呢？本文，我们将继...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值