HDFS 读写流程图解&上传&下载&网络拓扑&Secondary NameNode与 NameNode 之间关系（重点干货）

最新推荐文章于 2021-12-18 00:18:42 发布
原创 最新推荐文章于 2021-12-18 00:18:42 发布 · 302 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #分布式

本文深入探讨HDFS的工作原理，包括上传下载流程、机架感知策略、NN与2NN的持久化策略，以及NameNode故障处理方法。理解HDFS的网络拓扑、机架感知和故障恢复机制对于大数据处理至关重要。

文章目录

一 HDFS上传图解

在这里插入图片描述

图解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

块2 也是如此流程

二 扩展

网络拓扑

只描述他们关系 ，不管他们是什么。

图

在这里插入图片描述

机架感知

（副本选择策略）—副本数是3的情况下 ，第一个副本是localrack ，其它可能是不同机架不同节点，不会跨数据中心

机架感知

（副本选择策略）—副本数是3的情况下 ，第一个副本是localrack ，其它可能是不同机架不同节点，不会跨数据中心

为何建立通道串行？

围绕 IO —>因为性能---->并行的话压力集中在客户端，使得性能变差------>只能串行

挂了？

请求建立通道挂了-----集群fail

传输packet 挂了1节点挂了 传输失败----fail

传输packet 挂了 2 节点挂了 --没事 因为数据已经保存在1 节点上—会根据1节点存储 恢复2节点

三 HDFS下载图解

在这里插入图片描述

图解

在这里插入图片描述
在这里插入图片描述

挂了？

如果DN1 挂了会请求DN2-----直至全挂了整个下载过程才失败

四 NN 与2NN 之间关系

持久化策略

NN 是存在内存中------>断电即没 ------？如何持久化呢

Redis 持久化

64G/128G

RDB

定时把整个内存镜像保存一份—保存慢 读快

AOF

操作一次保存一次------安全性高 读慢 保存快

**Hadoop 持久化
AOF

每写一条，保存一次 （edits.log）—一旦重启 就要把edits.log 全读一遍

2NN 与NN 持久化策略

在这里插入图片描述

图解

在这里插入图片描述
在这里插入图片描述
修改一下上面画的有个地方有问题 ，请以下面为主
在这里插入图片描述

五 补充

1 CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]

dfs.namenode.checkpoint.period
3600 每隔1小时请求一次

（2）一分钟检查一次操作次数，3当操作次数达到1百万时，SecondaryNameNode执行一次。

dfs.namenode.checkpoint.txns
1000000 当数据存储到100w 条请求
操作动作次数

dfs.namenode.checkpoint.check.period 60 **每隔1分钟咨询是否需要checkPoint** 1分钟检查一次操作次数

2 Fsimage和Edits解析

oiv            apply the offline fsimage viewer to an fsimage
oev            apply the offline edits viewer to an edits file

基本语法:hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径
在这里插入图片描述
基本语法:hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径
在这里插入图片描述

edits_inprocess_002   ：Record 记录操作过程
fsimage:INodeDirectorySection  描述目录结构
			  INodeSection 记录所有 inode 信息 类型，（所有节点信息 ，格式，文件由哪些块组成）

3 NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一

将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

  1. kill -9 NameNode进程
  2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
    [a@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
  3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
    [a@hadoop102 dfs]$ scp -r a@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
  4. 重新启动NameNode
    [a@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
方法二：

使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

  1. 修改hdfs-site.xml中的

    dfs.namenode.checkpoint.period
    120
dfs.namenode.name.dir /opt/module/hadoop-2.7.2/data/tmp/dfs/name 2. kill -9 NameNode进程 3. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [a@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/* 4. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件 [a@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./

[a@hadoop102 namesecondary]$ rm -rf in_use.lock

[a@hadoop102 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs

[a@hadoop102 dfs]$ ls
data name namesecondary
5. 导入检查点数据（等待一会ctrl+c结束掉）
[a@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint
6. 启动NameNode
[a@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

老的hadoop 版本不支持HA （隐患：2NN比NN 少了----edit_inprocess_002）
在这里插入图片描述

4 集群安全模式

在这里插入图片描述

分布式计算框架Hadoop
John's blog
03-24 1万+
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。 HDFS架构原理 HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1384
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
namenode与secondaryNamenode的联系
p_x1984的专栏
06-28 278
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文件可...
HDFS读写流程&NameNode;工作机制流程图原件
10-16
HDFS读写流程&NameNode;工作机制流程图原件，用于修改和调整
NameNode和SecondaryNameNode详解
lzh253985690的博客
10-31 485
思考：NameNode中的元数据是存储在哪里的？是磁盘中还是内存中？         首先，我们假设储存在NameNode节点的磁盘中，因为经常要对NameNode进行访问获取DataNode的信息以相应客户请求，存放在磁盘中会导致效率过低。       &n...
NameNode和SecondaryNameNode 的关系 （重点）
小小小博客
12-09 926
Fsimage:元数据信息的备份（持久化），会加载在内存中 edits：Edits文件帮助记录文件增加和更新操作，提高效率 https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html NameNode在启动的时候需要加载edits(日志文件)和fsimage(文件) 所以在第一...
Hadoop HDFS读写流程与NameNode工作机制详解
"【大数据学习资料】大数据框架知识点总结.pdf 是一份系统性梳理 Hadoop 核心组件 HDFS（Hadoop Distributed File System）架构与运行机制的学习资料，重点涵盖了 HDFS 的读写流程、NameNode 与 Secondary NameNode ...
11HDFS的读写流程&NameNode、DataNode工作机制——好程序
火麒马
02-20 703
namenode的工作机制
HDFS读写数据&NameNode和SecondaryNameNode&DataNode
weixin_45770700的博客
12-23 468
数据读写相关的类 FileSystem是一个通用文件系统的抽象基类，可以被分布式文件系统继承，所有可能使用Hadoop文件系统的代码都要使用到这个类. DistributedFileSystem就是FileSystem在HDFS文件系统中的实现。 FileSystem的open()方法返回的是一个输入流FSDataInputStream对象，在HDFS文件系统中具体的输入流就是DFSInputSt...
Hadoop教程：NameNode与Secondary NameNode解析
剖析NameNode和Secondary NameNode的工作机制和流程’是其‘云计算分布式大数据Hadoop实战高手之路’系列教程的一部分，旨在深入理解Hadoop的核心组件NameNode和Secondary NameNode的功能与交互。” 在Hadoop分布式...
HDFS之NameNode和SecondaryNameNode的关系解读
qq_47947471的博客
09-24 369
NN和SNN工作机制 1.NameNode启动 ①第一次启动 NameNode 格式化后，创建 fsimage 和 edits 文件。如果不 是第一次启动，直接加载镜像文件和编辑日志到内存。 ②客户端对元数据进行增删改的请求。 ③NameNode 记录操作日志，更新滚动日志。 ④NameNode 在内存中对数据进行增删改查。 2.SecondaryNameNode工作 ①Secondary NameNode 询问 NameNode 是否需要 checkpoint。直接带回 NameNode 是否检查结果。
HDFS 之 NameNode 和 SecondaryNameNode 关系解析
程序员学习圈
06-28 1179
 1.NN和2NN工作机制（1）第一阶段：NameNode启动（1）第一次启动的NameNode格式化后，创建的FsImage和编辑文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）的NameNode记录操作日志，更新滚动日志。（4）的NameNode在内存中对数据进行增删改查。（2）第二阶段：Secondary NameNode工作（1）Se...
NameNode和Secondary NameNode的关系
tmh1995的博客
06-02 311
NameNode: 　　NameNode把改动写到文件系统edit logs上 　　在启动的时候读取fsimage(1)并跟edit logs合并 Secondary NameNode: 　　定时查询NameNode上的edit logs 　　把edit logs改动更新到fsimage(2)上并产生新的镜像文件 　　将镜像文件fsimage(2)拷贝回到NameNode上 　　 　　本博客仅供自己理解所用 ...
【5】NameNode 和 SecondaryNameNode
weixin_43958974的博客
02-21 207
1. NN 和 2NN 工作机制 (1)思考：NameNode 中的元数据是存储在哪里的？ (2)NN 和2NN 工作机制 第一阶段：NameNode 启动 （1）第一次启动NameNode 格式化后，创建Fsimage 和Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）NameNode 记录操作日志，更新滚动日志。 （...
NameNode和 SecondaryNameNode的区别与联系
qq_53229073的博客
12-18 2462
区别 （1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。 （2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 联系 （1）SecondaryNameNode中保存了一份和namenode一致的镜像文件（fsimage）和编辑日志（edits）。 （2）在主namenode发生故障时，（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。 ...
YARN工作流程
登峰造极胡子球手
07-03 1011
自己画的 有错误请大家指出 YARN的运行流程(工作机制) 1.clinet提交程序，向RM申请一个唯一的jobid 2.RM返回一个jobid，并且返回程序提交资源的路径发送给客户端 3.Client端将运行作业所需要的资源（如：jar包，配置文件，切片信息等）向指定的hdfs路径上传(注意：这个hdfs的路径是临时目录，程序运行完后，自动销毁) 4.上传成功之后，向RM发送执行作业的请求 5.RM讲请求转发给调度器 6.调度器会检测看哪个NM（Nodemanager）机器有空闲的时间来调度程序，如果有
secondaryNameNode 检查点设置
Java日常笔记精选的博客
07-08 492
secondaryNameNode 工作示意图 图片来源（hadoop权威指南） 1.创建检查点过程 a)nn上执行编辑日志滚动，产生新的编辑日志 b)2nn使用get复制nn上的image + edits c)2nn进行融合，产生新的Image d)2nn使用post发送新的Image到nn e)nn使用新的image覆盖旧的 2.2nn检查点创建周期 a)每隔...
【第2期】如何将NameNode和SecondaryNameNode分开不同节点
weixin_30323631的博客
04-20 242
一、当前情况 根据【第1期】教程的部署，我们已经可以使用Docker启动1台Master主机和3台Slave主机。但很快就可以发现，启动hadoop后，NameNode进行和SecondaryNameNode进程都存在于Master主机上，并无法实现备机功能。也就是说，如果Master主机宕掉了，实际上整个集群就完了。因此，将NameNode和SecondaryNameNode进程分开到...
图说Hadoop源码-NameNode: NetworkTopology.InnerNode
08-22 2443
http://huati.weibo.com/k/图说Hadoop源码  图说Hadoop源码系列 NetworkTopology将整个集群中的DN存储成了一个树状网络拓扑图, 表示一个具有树状网络拓扑结构的计算机集群, 一个集群可能由多个数据中心Data Center组成, 在这些数据中心分布着为计算需求而设置的很多计算机的机架Rack. InnerNode内部类, 表示数据中心/
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值