HDFS源码解析---HA

原创 已于 2022-07-08 11:44:39 修改 · 662 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hdfs #hadoop #分布式

于 2022-07-07 21:44:04 首次发布
本文详细阐述了SNN如何通过不断回放EditLog保持与ANN同步，并在适当时机进行CheckPoint以减小内存和fsimage差距。重点介绍了角色切换时的数据同步过程，确保HA环境下高效运作。

基本流程

1、ANN 不停地向 JN 写EditLog，SNN不停地tail 并回放（不需要将edit 文件download 到本地磁盘），使自身的namespace 无限接近ANN

2、满足一定条件，SNN 开始做CheckPoint，把内存里的namespace 保存为一个新的fsimage，然后通知ANN 去拉取，这样不至于内存和fsiamge lag 太多，导致每次重启时间很长

3、每次切换HA，SNN 会先追上 ANN（回放所有ANN 写到JN的edit log）使得自身内存元数据信息和ANN 一致，然后再完成角色的转换

Tail Edit Log

深入理解 Hadoop （四）HDFS源码剖析
weixin_44512041的博客
01-07 2075
本章将从集群启动、文件上传下载方面深度剖析 HDFS 源码，读者将全方位地了解到 HDFS 的源码实现，分布式存储系统的设计精髓。
HDFS核心源码解析(一)——NameNode的启动流程
zp的博客
08-29 1374
本文通过源码的方式详解了NameNode的启动流程 1. 通过createNameNode 创建new NameNode对象 2. NameNode在创建后立刻执行initialize方法 3. 创建并启动HttpServer 4. 加载元数据FSNamesystem 5. 创建并启动NameNodeRpcServer对象 6. 公共服务的检查，磁盘空间、安全模式 7. 最后提供了一张大图，对NameNode启动流程做了总结
hdfs源码.zip
07-14
第1章 HDFS 1 1．1 HDFS概述 1 1．1．1 HDFS体系结构 1 1．1．2 HDFS基本概念 2 1．2 HDFS通信协议 4 1．2．1 Hadoop RPC接口 4 1．2．2 流式接口 20 1．3 HDFS主要流程 22 1．3．1 HDFS客户端读流程 22 1．3．2 HDFS客户端写流程 24 1．3．3 HDFS客户端追加写流程 25 1．3．4 Datanode启动、心跳以及执行名字节点指令流程 26 1．3．5 HA切换流程 27 第2章 Hadoop RPC 29 2．1 概述 29 2．1．1 RPC框架概述 29 2．1．2 Hadoop RPC框架概述 30 2．2 Hadoop RPC的使用 36 2．2．1 Hadoop RPC使用概述 36 2．2．2 定义RPC协议 40 2．2．3 客户端获取Proxy对象 45 2．2．4 服务器获取Server对象 54 2．3 Hadoop RPC实现 63 2．3．1 RPC类实现 63 2．3．2 Client类实现 64 2．3．3 Server类实现 76 第3章 Namenode（名字节点） 88 3．1 文件系统树 88 3．1．1 INode相关类 89 3．1．2 Feature相关类 102 3．1．3 FSEditLog类 117 3．1．4 FSImage类 138 3．1．5 FSDirectory类 158 3．2 数据块管理 162 3．2．1 Block、Replica、BlocksMap 162 3．2．2 数据块副本状态 167 3．2．3 BlockManager类（done） 177 3．3 数据节点管理 211 3．3．1 DatanodeDescriptor 212 3．3．2 DatanodeStorageInfo 214 3．3．3 DatanodeManager 217 3．4 租约管理 233 3．4．1 LeaseManager．Lease 233 3．4．2 LeaseManager 234 3．5 缓存管理 246 3．5．1 缓存概念 247 3．5．2 缓存管理命令 247 3．5．3 HDFS集中式缓存架构 247 3．5．4 CacheManager类实现 248 3．5．5 CacheReplicationMonitor 250 3．6 ClientProtocol实现 251 3．6．1 创建文件 251 3．6．2 追加写文件 254 3．6．3 创建新的数据块 257 3．6．4 放弃数据块 265 3．6．5 关闭文件 266 3．7 Namenode的启动和停止 268 3．7．1 安全模式 268 3．7．2 HDFS High Availability 276 3．7．3 名字节点的启动 301 3．7．4 名字节点的停止 306 第4章 Datanode（数据节点） 307 4．1 Datanode逻辑结构 307 4．1．1 HDFS 1．X架构 307 4．1．2 HDFS Federation 308 4．1．3 Datanode逻辑结构 310 4．2 Datanode存储 312 4．2．1 Datanode升级机制 312 4．2．2 Datanode磁盘存储结构 315 4．2．3 DataStorage实现 317 4．3 文件系统数据集 334 4．3．1 Datanode上数据块副本的状态 335 4．3．2 BlockPoolSlice实现 335 4．3．3 FsVolumeImpl实现 342 4．3．4 FsVolumeList实现 345 4．3．5 FsDatasetImpl实现 348 4．4 BlockPoolManager 375 4．4．1 BPServiceActor实现 376 4．4．2 BPOfferService实现 389 4．4．3 BlockPoolManager实现 396 4．5 流式接口 398 4．5．1 DataTransferProtocol定义 398 4．5．2 Sender和Receiver 399 4．5．3 DataXceiverServer 403 4．5．4 DataXceiver 406 4．5．5 读数据 408 4．5．6 写数据（done） 423 4．5．7 数据块替换、数据块拷贝和读数据块校验 437 4．5．8 短路读操作 437 4．6 数据块扫描器 437 4．6．1 DataBlockScanner实现 438 4．6．2 BlockPoolSliceScanner实现 439 4．7 DirectoryScanner 442 4．8 DataNode类的实现 443 4．8．1 DataNode的启动 444 4．8．2 DataNode的关闭 446 第5章 HDFS客户端 447 5．1 DFSClient实现 447 5．1．1 构造方法 448 5．1．2 关闭方法 449 5．1．3 文件系统管理与配置方法 450 5．1．4 HDFS文件与操作方法 451 5．1．5 HDFS文件读写方法 452 5．2 文件读操作与输入流 452 5．2．1 打开文件 452 5．2．2 读操作――DFSInputStream实现 461 5．3 文件短路读操作 481 5．3．1 短路读共享内存 482 5．3．2 DataTransferProtocol 484 5．3．3 DFSClient短路读操作流程 488 5．3．4 Datanode短路读操作流程 509 5．4 文件写操作与输出流 512 5．4．1 创建文件 512 5．4．2 写操作――DFSOutputStream实现 516 5．4．3 追加写操作 543 5．4．4 租约相关 546 5．4．5 关闭输出流 548 5．5 HDFS常用工具 549 5．5．1 FsShell实现 550 5．5．2 DFSAdmin实现 552
HDFS源码解析
02-27
HDFS源码解析,讲解hdfs的实现原理
hdfs源码分析整理
05-06
hdfs源码分析整理，分布式文件系统详细讲解。
HDFS源码分析DataXceiver之读数据块
weixin_33805557的博客
03-12 285
在《HDFS源码分析DataXceiver之整体流程》一文中我们知道，无论来自客户端还是其他数据节点的请求达到DataNode时，DataNode上的后台线程DataXceiverServer均为每个请求创建一个单独的后台工作线程来处理，这个工作线程就是DataXceiver。并且，在线程DataXceiver处理请求的主方法run(...
HDFS HA QJM源码分析
zxf95的博客
05-23 396
Hadoop QJM的实现用到了paxos算法，pasos算法是是莱斯利·兰伯特于1990年提出的一种基于消息传递的一致性算法。这个算法被认为是类似算法中最有效的。pasos算法用在hadoop HA的实现里面就是要确保active namenode和standby namenode的状态保持一致。 在hadoop的源码里的ha包下有一个EditLogTailer类...
深入解析HDFS源码与Hadoop通信机制
标题 "hdfs源码.zip" 与描述结合说明了文档包含了关于HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）的源码级详细解析。以下是文档中提及的知识点： 1. HDFS概述 - HDFS体系结构：文档从体系结构...
HDFS-源码：深入解析HDFS的架构和原理
HDFS的诞生得益于大数据时代的到来，传统的文件系统面临着无法有效存储和处理海量数据的挑战，因此HDFS作为大数据环境下的存储解决方案应运而生。 ## 1.2 HDFS的特点和优势 HDFS具有以下特点和优势： - **高容错性...
hadoop-core-0.20.2 源码 hadoop-2.5.1-src.tar.gz 源码 hadoop 源码
11-20
**Hadoop 2.5.1源码解析** 从hadoop-2.5.1-src中，我们可以看到Hadoop已经发展到YARN（Yet Another Resource Negotiator）时代，这是对MapReduce模型的重大改进，引入了一个资源管理器，提高了集群资源利用率和任务...
HDFS客户端源码
王小禾
08-09 441
文章目录DFSClient构造器文件和目录 -text会最终进入Display类的getInputStream方法： protected InputStream getInputStream(PathData item) throws IOException { FSDataInputStream i = (FSDataInputStream)super.getInputStream(...
HDFS HA架构以及源码引导
劫无忧
06-12 3754
本文将介绍HDFS HA架构，并进行源码引导
深入解析HDFS源码：分布式文件系统之核心奥秘
最新发布
weixin_28931449的博客
08-23 301
元数据（Metadata）是HDFS中用来描述文件系统状态和组织结构的关键信息。它包括文件的属性（如权限、修改时间、空间配额）、目录结构（如子目录和文件列表）、文件和目录的块位置等。这些信息至关重要，因为它们是HDFS能够快速定位和管理数据块的前提。在HDFS中，元数据主要分为以下几种类型：命名空间元数据：这部分信息包含了文件系统目录树的结构，文件和目录的属性。文件到块的映射元数据：这部分信息描述了文件与存储它们的数据块之间的映射关系。块位置元数据。
Hadoop HDFS源码学习笔记（一）
一剪梅
03-05 2587
其实我很害怕阅读源代码，不过得克服自己的恐惧感，所以打算开始阅读HDFS的源码，学习它主要有需要两个方法配合使用一是阅读源码，找到入口函数，然后根据一步步的跳转和关键数据结构的学习来了解 二是运行源码，然后设置断点跟踪执行流程，比如说client端发出ls 命令，然后跟踪此命令执行过程都调用了哪些函数，执行了什么任务，就一目了然了。 HDFS的框架结构，在上一篇日志中已经给出来了，这里就不再重复
HDFS源码学习笔记
guoqing2017的博客
07-01 960
HDFS架构演进之路 HDFS使用来解决海量数据存储问题，MapReduce使用来解决海量数据如何计算的问题 HDFS全称：Hadoop Distributed File System HDFS核心思想 分散存储 冗余存储 HDFS架构 HDFS是一个主从式的架构，主节点只有一个叫做NameNode。从节点有多个叫DataNode NameNode 管理元数据信息：文件与Block块，Block与DataNode主机的关系 NameNode为了快速响应用户的操作请求，会把元数据信息加载到内存里 Da
HDFS源码架构图
yaoyaobird11的博客
08-15 210
HDFS源码架构图 （1）HDFS namenode启动 （2）HDFS datanode启动 （3）HDFS datanode注册 （4）HDFS 元数据管理 （5）HDFS 写数据/上传文件
Hadoop源码剖析--HDFS的数据存储
lvqianqian_csdn的博客
11-13 374
一、HDFS内存存储原理 HDFS的数据存储包括两块：（1）HDFS内存存储；（2）HDFS异构存储。 HDFS内存存储是一种十分特殊的存储方式，将会对集群数据的读写带来不小的性能提升，而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。 HDFS的LAZY_PERSIST内存存储策略用的是下面的这种方法， 其中第4步写数据到内存中，第6步异步地将数据写到磁盘，前面几步是如...
HDFS源码-4 ls命令解析
王小禾
06-11 680
hadoop fs -ls /命令解析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值