HDFS(2):NN；DN；2NN

最新推荐文章于 2023-08-24 10:35:20 发布
最新推荐文章于 2023-08-24 10:35:20 发布
阅读量689 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43660536/article/details/118343334
版权

HDFS：NN；DN；2NN；

目录

1、NameNode

1.1、知识总结

在这里插入图片描述

1.2、功能

  • 1、存储数据

    • 保存文件的元数据信息
      • 文件的归属
      • 文件的权限
      • 文件的大小时间
    • 文件与block块的映射
    • Block信息与DN的映射，但是block的位置信息不会持久化,需要每次开启集群的时候DN上报
      • 系统启动时
        • NN关机的时候是不会存储任意的Block与DN的映射信息
        • DN启动的时候，会将自己节点上存储的Block信息汇报给NN
        • NN接受请求之后重新生成映射关系
          • Block–DN3
      • 如果某个数据块的副本数小于设置数，那么NN会将这个副本拷贝到其他节点

  • 2、接受客户端的读写服务

    • 当客户端访问HDFS的时候
    • 都会通过NN获取或者是生成BLK对应的DN信息
    • 但是真实存储或者读取数据的时候，都是客户端直接去DN建立连接

  • 3、心跳机制

  • NN与DN保持心跳机制,三秒钟发送一次

    • 如果客户端需要读取或者上传数据的时候，NN可以知道DN的健康情况
    • 可以让客户端读取存活的DN节点

  • 如果DN超过三秒没有心跳，就认为DN出现异常

    - 不会让新的数据读写到DataNode
- 客户访问的时候不提供异常结点的地址
    • 如果DN超过10分钟+30秒没有心跳，那么NN会将当前DN存储的数据转存到其他节点
      • 超时时长的计算公式为：
        timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
        而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。

  • 4、日志记录

  • 因为NN为了追求效率，所有的数据都会存放到内存中。

  • 为了保障集群中的时候不会出现问题，以及出现问题的时候可以进行恢复最好的办法就是记录日志。

  • 如何选择一种方式就是SecondaryNameNode要执行的工作。

1.3、性能

  • NameNode为了效率，将所有的操作都在内存中完成
    • NameNode不会和磁盘进行任何的数据交换
    • 问题:
      • 数据的持久化
      • 数据保存在内存中，掉电易失

2、DateNode

在这里插入图片描述

功能：

1、存放的是文件的数据信息和验证文件完整性的校验信息

  • 数据会存放在硬盘上
  • 1m=1条元数据 1G=1条元数据
  • NameNode非常排斥存储小文件，一般小文件在存储之前需要进行压缩

2、汇报—心跳机制

  • 启动时
    • 汇报之前先验证Block文件是否被损坏
    • 向NN汇报当前DN上block的信息
  • 运行中
    • 向NN保持心跳机制
    • 客户可以向DN读写数据，

3、当客户端读写数据的时候，首先去NN查询file与block与dn的映射

  • 然后客户端直接与dn建立连接，然后读写数据

3、SecondaryNameNode

3.1、传统解决方案

在这里插入图片描述

  • 日志机制
    • 做任何操作之前先记录日志
    • 当NN下次启动的时候，只需要重新按照以前的日志“重做”一遍即可
    • 缺点
      • edits文件大小不可控，随着时间的发展，集群启动的时间会越来越长
      • 有可能日志中存在大量的无效日志
    • 优点
      • 绝对不会丢失数据
  • 拍摄快照
    • 我们可以将内存中的数据写出到硬盘上
      • 序列化
    • 启动时还可以将硬盘上的数据写回到内存中
      • 反序列化
    • 缺点
      • 关机时间过长
      • 如果是异常关机，数据还在内存中，没法写入到硬盘
      • 如果写出频率过高，导致内存使用效率低（stop the world） JVM
    • 优点
      • 启动时间较短

3.2、2NN解决方案

  • 解决思路（日志edits+快照fsimage）

    • 让日志大小可控
    • 定时快照保存

在这里插入图片描述

3.3、2NN备份数据优化

  1. 客户端请求增删改，NN记一条日志edits到硬盘上。
  2. 当edits日志到达64M/3600S时，会创建新的edits.new。
  3. 2NN会 获取NN的edits和fsimage。
  4. 2NN优化edits，将fsimage加载到内存生成新的fsimage.ckpt。
  5. NN复制fsimage.ckpt到本地，并重命名fsimage；将edits.new改名为edits。

在这里插入图片描述

3.4、数据恢复

  1. 强行杀死NameNode节点

    1. kill -9 7388

在这里插入图片描述

  1. 清空namenode下name中的fsimage和edtis文件

      [root@node01 ~]# rm -rf /var/yjx/hadoop/full/dfs/name/current/*

  2. secondary namenode下的name中的fsimage和edits复制到namenode对应文件夹中

      [root@node01 ~]# scp -r root@node02:/var/yjx/hadoop/full/dfs/namesecondary/current/* /var/yjx/hadoop/full/dfs/name/current

  3. 启动namenode

hadoop-daemon.sh start namenode

  1. 访问namenode节点页面，成功

    在这里插入图片描述

  2. 很不幸部分数据丢失？

    1. 思考 应该怎么解决
    2. 将日志edits与fsimage生成在第三方平台或数据库里，这样就可以避免一部分数据丢失。

4、HDFS数据写入流程

在这里插入图片描述

4.1、宏观流程

在这里插入图片描述

  1. 客户端向HDFS发送写数据请求
  • hdfs dfs -put tomcat.tar.gz /yjx/
  1. filesystem通过rpc调用namenode的create方法
  • nn首先检查是否有足够的空间权限等条件创建这个文件,或者这个路径是否已经存在
    • 有：NN会针对这个文件创建一个空的Entry对象,并返回成功状态给DFS
    • 没有：直接抛出对应的异常，给予客户端错误提示信息
  1. DFS如果接收到成功状态，会创建一个对象 FSDataOutputStream的对象给客户端使用
  2. 客户端需要向NN询问第一个Block存放的位置
  • NN通过机架感知策略 (node1 node 2 node8)
  1. 需要将客户端和DN节点创建连接
  • pipeline(管道)
    • 客户端和node1创建连接 socket
    • node1和node2创建连接 socket
    • node2 和Node8创建连接 socket
  1. 客户端将文件按照块block切分数据,但是按照packet发送数据
  • 默认一个packet大小为64K,Block128M为2048个packet
  1. 客户端通过pipeline管道开始使用FSDataOutputStream对象将数据输出
  • 客户端首先将一个packet发送给node1,同时给予node1一个ack状态
  • node1接受数据后会将数据继续传递给node2,同时给予node2一个ack状态
  • node2接受数据后会将数据继续传递给node8,同时给予node8一个ack状态
  • node8将这个packet接受完成后，会响应这个ack给node2为true
  • node2会响应给node1 ,同理node1响应给客户端
  1. 客户端接收到成功的状态,就认为某个packet发送成功了，直到当前块所有的packet都发送完成
  2. 如果客户端接收到最后一个pakcet的成功状态,说明当前block传输完成
  3. 客户端会将这个消息传递给NN，NN确认传输完成
  • NN会将block的信息记录到Entry,客户端会继续向NN询问第二个块的存储位置,依次类推
  • block1 (node1 node2 node8)
  • block2 (node1 node8 node9)
  • …
  • blockn(node1 node7 node9)
  1. 当最后一个Block传输完成，管道就会被撤销
  2. 当所有的block传输完成后，NN在Entry中存储所有的File与Block与DN的映射关系
  3. 关闭FsDataOutPutStream

4.2、微观流程

在这里插入图片描述

  1. 首先客户端从自己的硬盘以流的方式读取数据文件到自己的缓存中

  2. 然后将缓存中的数据以chunk（512B）和checksum(4B)的方式放入到packet（64K）

    1. chunk:checksum=128:1
    2. checksum:在数据处理和数据通信领域中，用于校验目的的一组数据项的和
    3. Packet分为两类，一类是实际数据包，另一类是heater包。
    4. 一个Packet数据包的组成结构

在这里插入图片描述

  1. 当packet满的时候加入到 添加到 dataqueue ,

  2. datastreamer开始从dataqueue队列上取出一个packet，通过FSDataOPS发送到Pipleline

    1. 在取出的时候，也会将packet加入到ackQueue,典型的生产者消费者模式

  3. 客户端发送一个Packet数据包以后开始接收ack，会有一个用来接收ack的ResponseProcessor进程，如果收到成功的ack

  • 如果某一个packet的ack为true,那么就从ackqueue删除掉这个packet
  • 如果某一个packet的ack为false,将ackqueue中所有的packet重新挂载到 发送队列,重新发送
  1. 最终DFS保存的数据格式为

在这里插入图片描述

5、HDFS数据读出流程

在这里插入图片描述

  • 首先客户端发送请求到DFS，申请读取某一个文件
    • /yjx/tomcat.tar.gz
  • DFS去NN查找这个文件的信息(权限,文件是否存在)
    • 如果文件不存在，抛出指定的错误
    • 如果文件存在，返回成功状态
  • DFS创建FSDataInputStream对象，客户端通过这个对象读取数据
  • 客户端获取文件第一个Block信息,返回DN1 DN2 DN8
  • 客户端直接就近原则选择DN1对应的数据即可
  • 依次类推读取其他块的信息，直到最后一个块,将Block合并成一个文件
  • 关闭FSDataInputStream
【HDFS】NN、2NN和DN工作机制
fu-jw的博客
04-11 5530
1、 NN和2NN工作机制 NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsI...
Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并
希望每天都能进步一点点
01-18 1402
Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容
HDFS NN切换到HA的过程（CDH）
mnasd的博客
07-13 860
一、在主页上找到“启动High Availablity”二、选择新增角色NN backup和3个JournalNode的节点三、确定新增实例的目录
2022-07-05 HDFS工作原理、2nn及dn相关配置
D___H的博客
07-05 442
HDFS工作原理、2nn及dn相关配置
关于大数据，Hadoop、Kafka相关命令（持续更新...)
最新发布
weixin_42178377的博客
08-24 212
执行topic命令时，需要cd到 kafka/bin 文件夹下执行。注：hadoop fs == hdfs dfs。二、关于Hadoop 主从节点切换。
HDFS命令操作和高可用
陈小哥cw
06-13 599
1.HDFS的命令行操作 查看所有HDFS的命令 [root@node01 ~]# hdfs dfs #也可使用hadoop dfs 创建HDFS的文件夹，如果父目录不存在，则创建(-p) /user目录是用户父目录，用户名做子目录，、/user/root代表用户家目录 如果使用hdfs shell 缺省hdfs路径的时候，使用该目录 [root@node01 ~]# hdfs df...
HDFS：NN、SNN、DN剖析
weixin_44591209的博客
02-27 969
namenode被格式化之后，将在HADOOP_HOME/tmp/dfs/name/current （默认）产生以下文件： 参数：core-site.xml ： hadoop.tmp.dir 指定hadoop运行时产生文件的存储目录 参数: hdfs-site.xml : dfs.namenode.name.dir 指定namenode...
Hadoop中HDFS的读写流程及NN、2NN、DN的工作机制
weixin_46973649的博客
07-17 543
Hadoop中HDFS的读写流程及NN、2NN、DN的工作机制 HDFS读流程 客户端Client中的DistributedFileSystem对象申请下载文件，NameNode检查申请的文件是否存在，并查看要下载的文件夹是否有读权限，然后响应文件是否存在，DistributedFileSystem对象请求下载第一个Block，NN返回三个DN节点，客户端会开一个FSDataInputStream输入流，然后向其中一块DN请求建立通道，DN应答成功，开始传输Packet，其他两个DN负责当备胎，传输成功.
大数据技术之hadoop——（六）HDFS读写流程+nn工作机制+dn工作机制
m0_46615073的博客
08-12 356
浅析hdfs的读写流程 nn和2nn的工作机制 dn的工作机制 文章目录 一、HDFS的读写流程 1.1 hdfs写数据流程 1.2 hdfs读数据流程 二、NameNode和SecondaryNamenode 2.1NN和2NN工作机制 2.1.1namenode启动 2.1.2SecondaryNameNode工作 2.2fsimage和edits解析 ovi查看fsimage镜像文件 oev查看Edits文件 2.3 CheckPoint间隔时间设置 三、DataNo...
Hadoop基础【HDFS NN和2NN工作机制、DataNode工作机制】
weixin_43923463的博客
03-03 1175
1、NN和2NN工作机制 一个正常HDFS集群，读取和写入，尤其是读取是十分频繁的，读取则必然需要访问NN，读取元数据（存储数据的数据，比如索引信息），也就是说，在运行的集群中，元数据的读取是十分频繁的，而且时效性比较高，于是，元数据在运行中需要放在内存中（速度比较快）。 将所有元数据放在内存中，又会造成一旦机器断电，所有的元数据就消失不见了。 所以又需要将易丢失的数据放在磁盘上（持久化过程），一个64GB的NN，即使内存全部用来存储，也只能存放4581...
MAC M1大数据0-1成神篇-19 初识hadoop
Mmmxs
05-27 253
写在前面： 认识一下数据类型和其中的节点。 进入主题： 一.文件的数据类型 文件有一个stat命令 元数据信息-->描述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 文件数据 真实存在于文件中的数据 二. NameNode(NN) 2.1 功能 接受客户端的读写服务 NameNode存放文件与Block的映射关系 DataNode存放Block与DataNode的映射关系 保存...
Hadoop之HDFS---浅谈DN、NN、SNN
linhao
10-08 1万+
Hadoop浅谈         在了解HDFS之前必须介绍一下hadoop以及hadoop和HDFS之前的关系：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。那么它们之间的关系可以通过下面几点了解： 1、Hadoop是google的集群系统的开源实现：   Google集群系统
HDFS基础之NN、SNN、DN
Noisy Fish的博客
01-14 1785
一、HDFS架构 二、HDFS详解 NameNode(NN)：名称节点 文件系统的命名空间 1）、文件名称 2）、文件目录结构 3）、文件的属性（权限、创建时间、副本数等） 4）、文件对应哪些数据块——》这些数据存储在哪些DataNode上 不会持久化存储这种映射关系，是通过集群的启动和运行时，DataNode定期的发送Bloc...
hadoop2.0 HDFS搭建和HA切换
热门推荐
bluekeyv的专栏
12-17 1万+
说到了hadoop2.0的新特性。这里详解一下搭建步骤以及原理。        首先，需要在cdh官方下载对应的源码包：http://archive.cloudera.com/cdh4/cdh/4/         以cdh4.3.1版本为例来进行说明。         1、hadoop配置文件及目录          hadoop2.0版本配置文件放在$HAOOP_H
HDFS ha 手动切换命令使用示例
06-24 3048
hdfs haadmin -transitionToActive nn1
HDFS组件（NN/DN/SNN）
qq_39892028的博客
11-01 861
NN: （NameNode）文件系统的命名空间 a.文件名称 b.文件目录结构 c.文件属性(创建时间 权限 副本数) d.文件对应哪些数据块—》数据块对应分布到哪些datanode节点上 blockmap,namenode节点不会持久化存储这种映射关系，集群在启动时和运行时， datanode定期发送blockreport 给namenode，以此namenode在内存中动态维护这种映射关系...
HDFS NN与2NN
小城我家
10-13 427
HDFS元数据管理机制 问题1：NameNode如何管理和存储元数据？ 计算机中存储数据两种：内存或者是磁盘 元数据存储磁盘：存储磁盘无法面对客户端对元数据信息的任意的快速低延迟的响应，但是安全性高 元数据存储内存：元数据存放内存，可以高效的查询以及快速响应客户端的查询请求，数据保存在内 存，如果断点，内存中的数据全部丢失。 解决方案：内存+磁盘；NameNode内存+FsImage的文件（磁盘） 新问题：磁盘和内存中元数据如何划分 两个数据一模一样，还是两个数据合并到一起才是一份完整的数据呢？ 一模一样：
NN、DN、2NN、JN
weixin_44976835的博客
06-16 1675
NN–NameNode NN负责对HDFS上的元数据进行整理 在NN上存放了两份重要信息：1.文件由哪些块组成、2.每个块存在哪个位置 除此之外还有一些非关键信息：文件名、上传者、上传时间 元数据在磁盘中存储在fsimage中 NN的持久化 NN负责整个HDFS的负载，当客户端对数据进行写操作时候会产生元数据，导致元数据不断增加，存在丢失风险，所以需要对NN中的元数据进行持久化 存在着两种持久化的方法： 将所有的写操作记录下来，形成日志文件 将当前内存内存的数据形成一个快照 日志文件持久化方法存
HDFS架构nn dn交互，上传数据写数据流程
Steven
06-16 317
HDFS架构 准备工作：三台机器（datanode）注册并汇报储存资源，主机器每三秒心跳感应 客服端请求namenode存储数据到集群 校验 返回存储位置 存储默认三个副本 物理切块 增加从节点 注册扩容1.接受汇报 2.管理集群（节点列表，每个节点的存储资源） ...
HDFS深入解析：写读流程与NameNode关键机制
- **5.1 NN和2NN工作机制** - NameNode启动后，开始接受客户端的写入请求和维护元数据。 - SecondaryNameNode在NameNode运行一段时间后开始工作，它会周期性地下载NameNode的元数据，进行校验并保存到本地的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值