HDFS原理详解_SecondaryNameNode

最新推荐文章于 2024-08-15 11:34:07 发布
最新推荐文章于 2024-08-15 11:34:07 发布
阅读量331 收藏
点赞数
分类专栏： Water 文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/feizuiku0116/article/details/120641509
版权
  • SecondaryNameNode的作用是专门帮助NameNode更新fsimage文件。它启动时会从NameNode处获取fsimage，之后定期从NameNode获取edits，将edits中的操作更新到fsimage中，再将这个新的fsimage送还给NameNode，这样NameNode中的fsimage就比较新了
  • DataNode并不与SecondaryNameNode通信，SecondaryNameNode只与NameNode通信，所以SecondaryNameNode无法替代NameNode，所以整个系统中存在单点故障。NameNode一旦出问题，整个系统就瘫痪了，只能等到NameNode复活后再继续提供服务
HDFS中SecondaryNamenode工作原理(7)
大数据梦想家
11-06 3001
        我们在刚开始学习HDFS的时候,知道HDFS主要由管理者NameNode和DataNode组成。其中还有一个SecondaryNameNode在HDFS中扮演着辅助的作用,负责辅助NameNode管理工作。那么这篇博客,小菌就为大家分享secondarynameNode究竟是如何辅助管理的? &nbsp...
HDFS中NameNode和SecondaryNameNode工作机制详解
a1786742005的博客
02-03 2587
一、为何要引入SecondaryName？ 思考：NameNode中的元数据是储存在哪里的？        首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生...
HDFS SecondaryNamenode工作原理
liu_changshen的博客
11-05 1240
前提：不使用SNN,日志文件会很大，日志大会导致集群恢复到上次关机前的状态花费很长时间，这个时候集群处于 安全模式，集群不可用。长时间处于安全模式。 目标：加快集群二次启动的速度。（减少集群二次启动的时间） SecondaryNamenode周期性复制NameNode的FSIMAGE 和edits到本机（SecondaryNamenode本机），将两个 文件进行合并，最终生成全新的Fsimage,...
Hadoop-HDFS的NameNode和SecondaryNameNode介绍及原理
clearlxj的博客
07-01 1003
NameNode和SecondaryNameNode NN和2NN的工作机制 NameNode 中的元数据是存储： 首先,我们做个假设,如果存储在 NameNode 节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新 FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一
HDFS--Secondary NameNode
zhang09090606的博客
08-08 1249
前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do?(需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下： Secondary NameNode:它究竟有什么作用？ 在Hadoop中，有一些命名不好的模块，Secondar.
HDFS~SecondaryNameNode
feizuiku0116的博客
05-04 288
SecondaryNameNode作用 将edits和fsimage合并是很费力的工作，如果由NameNode完成就会影响响应速度，所以引入了SecondaryNameNode SecondaryName的作用是帮助NameNode更新fsimage文件。 它启动时会从NameNode处获取fsimage，之后定期从NameNode获取edits，将edits中的操作更新到fsimage中，再将这个新的fsimage送还给NameNode ...
HDFS原理（超详解）
Allenzyg的博客
05-20 5505
简介 HDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。是根据 google 发 表的论文翻版的。论文为 GFS（Google File System）Google 文件系统。 HDFS 有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存 3 份。 ② 运行在廉价的机器上。 ③ 适合大数据的处理。多大？多小？HDFS 默认会将文件分割成 block，64M 为 1 个 block。然后将block按键值对存储在HD
Hadoop HDFS运行原理详解：NameNode, SecondaryNameNode与DataNode
"Hadoop HDFS 运行原理详解" 在Hadoop生态系统中，HDFS（Hadoop Distributed File System）是一个核心组件，它基于Google的GFS（Google File System）概念设计，旨在处理大规模数据集。HDFS具有以下几个关键特点： ...
HDFS原理详解：副本机制与系统架构
"本文主要介绍了HDFS(Hadoop Distributed File System)的基本原理，包括其特点、系统结构以及数据存储策略。HDFS是一个分布式文件系统，设计用于处理和存储大量数据，尤其适合大规模数据处理任务。其核心特性包括...
Hadoop HDFS原理分析，技术详解
12-01
"Hadoop HDFS原理分析" HDFS（Hadoop Distributed File System）是Hadoop项目的一部分，是一个分布式文件管理系统。HDFS的设计理念是为了存储和管理大量的数据，具有高容错性、可扩展性和高性能的特点。 HDFS的...
HDFS之SecondaryNameNode
Remember_Z的博客
05-19 694
1、回顾HDFS架构体系 之前有简单提及过，HDFS的架构中，除了NameNode和DataNode外，还有个SecondaryNameNode也扮演着重要的角色。再来简单回顾下HDFS的架构体系 （1）Client 文件切分，文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储 与 NameNode 交互，获取文件的位置信息 与 DataNode 交互，读取或者写入数据 Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS Client 可以通过一些
HDFS SecondaryNameNode的原理和作用
data2tech的博客
05-24 1821
NameNode与fsimage、edits文件 NameNode（简称NN）负责管理和保存HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。当NameNode在运行时，元数据都是保存在内存中，以保证响应时间。元数据同时也会持久化到磁盘，dfs.namenode.name.dir参数指定了元数据的磁盘保存路径。NameNode内部有两类文件用于持久化元数据： fsimag
SecondaryNameNode工作原理
mzqadl的博客
02-25 3069
一、SecondaryNameNode用途 　　SNN是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间，SNN进程默认运行在 namenode 机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，因此最佳方式是将SNN进程配置在另外一台机器上运行。 　　在hadoop中，namenode负责对HDFS的metadata的持久...
BigData进阶--hdfs中SecondaryNameNode的作用
GO BEYOND YOURSELF
10-31 2447
首先需要明确的是SecondaryNameNode不是NameNode的备份，只是解决NameNode的部分问题。 一、明确NameNode的作用 NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。        上面的这张图片展示了NameNode怎么把元数据保存到磁盘上的。
+hadoop\HDFS中NameNode与SecondaryNameNode工作原理
heima201907的博客
03-26 334
1）第一阶段：namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求 （3）namenode记录操作日志，更新滚动日志。 （4）namenode在内存中对数据进行增删改查 ...
Hdfs(六)SecondaryNameNode
最新发布
技术博客
08-15 1037
当然，如果NameNode中的fsimage真的出问题了，还是可以用SecondaryNamenode中的fsimage替换一下NameNode上的fsimage，虽然已经不是最新的fsimage，但是我们可以将损失减小到最少，帮助主要的NameNode执行Checkpoint操作，以提高HDFS的可靠性和性能。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。
大数据Hadoop之HDFS SecondaryNameNode
Deer的博客
08-09 1302
HDFS工作机制 HDFS可以存储大文件，可以将大的文件分块，每一个块可以存储在不同节点（计算机）中，使得不在受到单台计算机存储的限制。另外，可以设置复制因子（默认为3）对每一个块设有多个复本，一旦某个节点宕机之后，还有其他的复本可以供客户端访问。 NameNode和DataNode 在Hadoop集群采用的是主从架构，节点主要分为NameNode和DataNode.NameNode是主节点，DataNode是从节点。 NameNode存储的是元数据，功能如下： 存储文件的元信息：文件大小、权限，文件有几
HDFS的Secondarynamenode工作机制
Leon_Jinhai_Sun的博客
02-23 239
HDFS 的元信息和 SecondaryNameNode 当 Hadoop 的集群当中, 只有一个 NameNode 的时候, 所有的元数据信息都保存在了 FsImage 与 Eidts 文件当中, 这两个文件就记录了所有的数据的元数据信息, 元数据信息的保存目录配置在了 hdfs-site.xml 当中 <property> <name>dfs.n...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值