datanode中的类结构图

最新推荐文章于 2021-01-09 19:18:23 发布
最新推荐文章于 2021-01-09 19:18:23 发布
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： 框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lance_123/article/details/6140435
本文档概览了DN框架的主要组成部分，重点介绍了副本传输和副本管理两大核心模块，并通过绘制类图来帮助理解其内部工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前大致把DN中的主要类代码看了一下，框架基本了解，刚才用VS简单的把类图模块画了一下，整理自已的思路。涉及比较多的是副本的传输和副本的管理二大块内容。

GameFramework框架详解之 DataNode数据节点模块
TxNet
06-02 2667
gf数据节点模块 一.前言 每个游戏都有数据节点中心，数据节点的作用其实就是游戏运行时的一些缓存数据，比如用户登录的信息，背包信息，任务进度等等。数据存储的结构一般都是字典转存json/xml，这样我们直接用json序列化工具，很方便的实现数据的读取，修改和持久化。不过本文将给你带来一个不一样的数据存储方式：“树形结构存储”。其实树形存储结构我们并不陌生，json和xml的多级结构其实就时一种树形结构。我们的内存堆是以树形结构来存储的，数据库也常以树形结构来做数据的存储。 树形存储结构示意图： 下面来介绍我
尴聊hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker核心组件
尬聊码农
05-13 284
问题导读： 1.job的本质是什么？ 2.任务的本质是什么？ 3.文件系统的Namespace由谁来管理，Namespace的作用是什么？ 4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？ 5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？ 6.客户端读写某个数据时，是否通...
DataNode逻辑结构
happy19870612's blog
11-23 844
一 DataNode 作用 1Data Node以数据块的形式存储HDFS文件 2Data Node 响应HDFS 客户端读写请求 3Data Node 周期性向NameNode汇报心跳信息 4Data Node 周期性向NameNode汇报数据块信息 5Data Node 周期性向NameNode汇报缓存数据块信息 6Name Node根据汇报内容，修改NameNode的命名空间，同
DataNode类主要数据成员和函数
数据库天地
05-28 224
DataNode.java主要包含三个类DataNode主类、DataTransfer和BlockRecord辅助类。 一、看主类DataNode： 1、主要的数据成员public DatanodeProtocol namenode = null; public FSDatasetInterface data = null; public DatanodeRegistration dn...
DataNode的目录结构
张不帅
11-06 1388
和namenode不同的是,datanode的存储目录是初始阶段自动创建的,不需要额外格式化 在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current cat VERSION #Tue Nov 06 05:43:25 CST 2018 storageID=DS-6d013652-f213-4118-9e89-e53d7ab028c9 c...
NameNode和DataNode中重要的数据结构解析
meilong_whpu的专栏
10-27 1518
NameNode中的数据结构 一、NameNode在导入fsimage文件时，会生成的目录文件树状结构图，假设存在文件”/tmp/file1”,存在目录”/tmp/tmp3”,”/tmp2”；则生成的图如下： 二、FSNamesystem.blocksMap存放HDFS系统的所有block块信息；blocksMap的数据结构如下： 注：BlocksMap.BlockInfo类实现了Lig
hadoop知识之Datanode 目录结构
maixia24的专栏
08-06 1489
${dfs.data.dir}/ └── current/ ├── VERSION ├── blk_ ├── blk_.meta ├── blk_ ├── blk_.meta ├── ... ├── blk_ ├── blk_.meta ├── subdir0/ ├── subdir1/ ├── ... └── subdir63/
Hadoop系列（一）——身体是革命的本钱 HDFS体系结构（NameNode、DataNode）详解
BigData_Hubert的博客
08-21 8116
hadoop文件读取实例中yarn的作用是什么样的？ 要想理解hadoop文件读取的过程，除了理解YARN还需要提前了解一下hadoop 中NameNode和DataNode的原理和功能。 NameNode NameNode在内存中保存着整个文件系统(hdfs)的名字空间(namespace）和文件数据块的地址映射(Blockmap)。整个HDFS可存储的文件数受限于NameNode的内存大小。 它的功能如下： NameNode负责文件元数据信息的操作以及处理客户端的请求 NameNode管理HDFS文件
DataNode数据处理中心DataXceiver
走在前往架构师的路上
02-02 7629
前言最近在优快云的首页上看到了hadoop十周年的文章,不禁感慨这真是一个伟大的系统啊.在这十年间,hadoop自身进行了许多演化和大的改变,而在其下,也孵化出了许多子项目,围绕着hadoop的生态圈现在变得越来越丰富了.所以作为一个出色的分布式系统,他有很多地方值得我们学习,最近本人在研究DataXceiver方面的代码,此篇文章算是这几天学习的一个总结吧.为什么选择学习DataXceiver
记一次DataNode慢启动问题
热门推荐
走在前往架构师的路上
01-13 3万+
前言最近一段时间,由于机房需要搬迁调整,我们hadoop集群所受到的影响机器无疑是数量最多的,如何能最优的使机器在从1个机房搬到另1个机房之后,对集群的数据和上面跑的业务造成尽可能小的影响或者说几乎没有影响.这就是我们想到达到的目标.但是在实施这整个搬迁的过程中,还是发现了一些比较有意思的现象的,于是就有了如文章标题所描绘的现象,为什么说是"记一次"呢,因为这个现象并不是每次都发生,所以这件事看上
Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 概述
张伯毅的专栏
11-02 6315
一.概述 Datanode以存储数据块（Block） 的形式保存HDFS文件， 同时Datanode还会响应HDFS客户端读、 写数据块的请求。 Datanode会周期性地向Namenode上报心跳信息、 数据块汇报信息（BlockReport） 、 缓存数据块汇报信息（CacheReport） 以及增量数据块块汇报信息。 Namenode会根据块汇报的内容， 修改Namenode的命名空间（Namespace） ， 同时向Datanode返回名字节点指令。 Datanode会响应 Namenode返回的名
HDFS之DataNode工作原理超全总结
落枫寒的博客
07-27 1万+
本文系统的总结了DataNode的主要知识点，包括启动流程、磁盘存储的文件结构及功能特点、如何对磁盘目录和块进行管理、流式接口的实现以及读写数据的流程等。
Datenode的目录结构
weixin_44519468的博客
11-05 406
和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号 （1）storageID：存储id号 （2）clusterID集群id，全局唯一 （3）cTime属性标记了datanode存储系统的创...
Node内部架构图
weixin_30947043的博客
12-27 468
1.Node内部架构图 先来看一下Node节点的内部实现架构图。 首先最上层入口是Restful风格和javaTcp风格的API入口，RestFul请求映射到处理器RestControl。JavaApi映射到轻量级的TransportClient或者重量级的NodeClient。所有的外部命令（不管是http还是tcp）最终都转换为统一的Action动作。不同的action动作又都基于底层的...
hadoop生态系统主要架构图汇总
weixin_33726318的博客
09-26 574
1 hadoop1.0时期架构 2 hadoop2.0时期架构 3 hdfs架构 【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求 【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active Nam...
(三)DataNode的剖析
weixin_37850264的博客
01-09 800
文章目录总体流程DataNode初始化DataNode注册知识点铺垫与NameNode相似，为服务端，所以在main启动注册结束总结 总体流程 DataNode初始化 DataNode注册 接下来讲解的是DataNode部分： 1）Datanode初始化：之前分析过jps，能看到的服务就认为是RPC的服务端。 在我们平时搭建集群的过程中，我们jps是能看到DataNode服务的。所以datanode应该就是RPC的服务端。 2）DataNode的注册：HDFS是一个主从式的架构。Namenode是一个
hadoop文件系统的目录结构及datanode不能启动
06-28 931
在做hadoop测试的时候,由于误操作，datanode不能启动了。查询日志也没有错误提示。我们先来看看hadoop文件的元文件目录结构. ├── data │?? ├── current │?? │?? ├── BP-1808523652-192.168.237.128-1451363010425 │?? │?? │?? ├── current │?? │?? │?? │?? ├── final...
HDFS磁盘调度策略
iteye_15948的博客
03-29 343
callstack:   FsVolumeList.getNextVolume(StorageType,long)----->FsVolumeList.chooseVolume(List,long)----->RoundRobinVolumeChoosingPolicy.chooseVolumn(List,long)   OR   FsVolumeList.getNext...
黑猴子的家：DataNode 目录结构
黑猴子的博客
09-25 211
和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。 1、在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current这个目录下查看版本号 [victor@hadoop102 current]$ cat VERSION storageID=DS-1b998a1d-71a3-43d5-82dc-c0ff329...
简单绘制HDFS组件交互图，解释NameNode、DataNode、Secondary NameNode的作用‌
最新发布
03-16
好的！以下是关于HDFS组件及其交互作用的简单介绍： ### HDFS 组件及它们的作用 #### **1. NameNode** - **作用**： NameNode 是 HDFS 的核心管理节点，负责文件系统的命名空间管理和数据块元信息存储。它记录了每个文件的数据块分布以及位置信息，并维护整个集群的状态。 - **功能**： - 存储文件系统元数据（如目录结构、权限等）。 - 负责处理客户端请求（读取或写入操作），分配数据块给 DataNodes。 - 监控所有 DataNode 状态。 --- #### **2. DataNode** - **作用**： DataNode 是实际存储用户数据的工作节点。它是分布式存储的核心部分，负责将文件分割成固定大小的数据块并存储到本地磁盘上。 - **功能**： - 按照 NameNode 的指令接收和发送数据块。 - 定期向 NameNode 上报心跳信号，汇报自身的健康状态和所持有的数据块信息。 - 执行复制任务以保证副本数满足配置需求。 --- #### **3. Secondary NameNode** - **注意**: 这并不是真正的备用 NameNode，而是一个辅助工具用于分担主 NameNode 的工作负载。 - **作用**： 主要目的是周期性地合并编辑日志 (`fsimage` 和 `edits`) 文件，防止主 NameNode 因为内存占用过多而导致性能下降。 - **功能**： - 将 NameNode 中的日志文件检查点化（Checkpointing），生成新的 fsimage 文件。 - 减少主 NameNode 启动时间（通过减少需要回放的日志量）。 - 并非真正意义上的故障恢复机制；如果主 NameNode 崩溃，则无法直接接管其职责。 --- ### 组件交互图描述 ``` 客户端 --> 请求 (Read/Write) --> NameNode | v 分配Block ID -> DataNode[0..n] | v 数据传输过程 ``` 简述流程如下： 1. 当客户端发起对某个文件的操作时，首先联系 NameNode 获取该文件对应的 Block 列表； 2. 根据返回结果定位具体的 DataNode 地址列表； 3. 最终由客户端直接与指定 DataNode 发生通信完成具体 I/O 动作。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值