HDFS中NameNode启动过程

最新推荐文章于 2024-04-29 18:19:35 发布

weixin_30342827

最新推荐文章于 2024-04-29 18:19:35 发布

阅读量337

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/Niel-3/p/6702847.html

本文详细介绍了Hadoop集群中NameNode与DataNode的启动过程，包括启动命令及安全模式期间NameNode进行的工作，如接受DataNode的心跳和块状态报告，以及加载fsimage镜像文件和edits编辑日志文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

移动到hadoop文件目录下

NameNode启动命令:sbin/hadoop-daemon.sh start namenode

DataNode启动命令:sbin/hadoop-daemon.sh start datanode

过程描述:

NameNode启动后，会进入30秒的等待时间，此时处于安全模式，所谓的安全模式就是只能执行相关读取操作，比如查看text，下载get等，不能执行创建，删除or追加内容操作,

此时NameNode做两件事，第一件，接受DataNode的心跳和块状态报告，心跳为每3秒发送一次，用来标记是否存活，而块的状态报告主要是用来发送NameNode节点下各个

块的状态，默认每一小时发送一次，之后NameNode就会根据自身的元数据来比对DataNode发送的所有块报告的数据是否匹配来判断各个DataNode是否正常，另外一件事，

NameNode会去加载fsimage镜像文件和edits编辑日志文件，并将其两合并生成一个新的fsimage镜像文件和生成空的edits编辑日志文件。

转载于:https://www.cnblogs.com/Niel-3/p/6702847.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30342827

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

HDFS2.X源码分析之：NameNode启动流程分析

liuhong的专栏

01-03

1678

目前，NameNode有多种启动：HA方式的从节点，非HA方式的主节点，BackUp（checkpoint）节点 switch (startOpt) { //文件系统格式化 case FORMAT: { boolean aborted = format(conf, startOpt.getForceFormat(), startOpt.ge

深入HDFS——NameNode启动源码

从知识输入到知识输出

01-16

1131

深入NameNode启动源码。

参与评论您还未登录，请先登录后发表或查看评论

hdfs中NameNode启动过程介绍

qq_35286875的博客

09-05

1210

NameNode启动过程详解一、简单介绍NameNode NameNode存储整个文件系统的元数据。二、NameNode的存储 NameNodede数据存放在两个地方，一个是内存，一个是本地磁盘。在磁盘中的存储分为fsimage（镜像文件）、edits（编辑日志文件）。三、NameNode的启动过程 1.第一次启动hdfs时，我们需要格式化hdfs文件系统。hdfs bin/hdfs name

HDFS源码之NameNode 启动流程

地球人是我哈的博客

11-24

846

HDFS源码之NameNode 启动流程 1. start-dfs.sh "$HADOOP_PREFIX/sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" \ --hostnames "$NAMENODES" \ --script "$bin/hdfs" start namenode $nameStartOpt 2. hadoop-daemons.sh "$bin/slaves.sh" --config $HADOOP_CONF_DIR

HDFS源码分析——NameNode启动流程

机械工程跑路哥

10-03

1964

NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式

HDFS - NameNode启动流程

syun_tau的博客

11-01

319

HDFS NameNode启动流程 NameNode 启动流程梳理初始化 httpServer，启动服务加载fsImage 初始化 rpcServer 处理安全模式启动 rpcServer 启动重要的服务：等待复制的线程、心跳管理线程等参考流程图

[hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes

01-20

在Hadoop分布式文件系统(HDFS)的运行过程中，可能会遇到一个常见的错误，即"ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes"。这个错误通常意味着系统在尝试启动...

HDFS中NameNode和SecondaryNameNode工作机制详解

a1786742005的博客

02-03

2631

一、为何要引入SecondaryName？思考：NameNode中的元数据是储存在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生...

HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制

weixin_44480009的博客

04-29

837

【代码】HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制。

HDFS NameNode的启动过程加速：多索引下的并行加载

走在前往架构师的路上

08-27

1738

文章目录前言HDFS NN的启动过程前言对于大部分使用HDFS作为大数据存储系统的用户而言，NameNode的启动过程缓慢已经可以算是一个十分痛点的问题。尤其是当NN的元数据规模达到数亿万级别时，这个过程总的耗时时间将会达到几小时的级别。这意味着什么呢？这意味着假设当系统因为异常退出时，再次恢复服务需要至少等超过1个小时以上。最近社区完成了一个重要的改进，benchmark结果显示可以让NN...

hdfs-namenode

February13的博客

04-19

1839

其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性是hdfs-site.xml的派生（会覆盖hdfs-default.xml），当没有配置hdfs-site.xml时，（上述文件所在路径有一个参数（dfs.namenode.name.dir ）去控制：）

HDFS高可用集群中NameNode无法启动——解决方案

m0_56066550的博客

12-15

8017

我是在刚搭建好HDFS高可用后，发现存在一台NamNode节点无法启动，但该节点上的DataNode仍可正常运行。其它的NameNode在正常运行。问题可能是由多个NameNode上的元数据信息不一致，解决方法如下： 1、停止HDFS集群。 2、删除每个NameNode节点上的data、logs。（我是在刚搭好HDFS集群遇到的这个问题，所有data和logs中的数据可直接删除。如果data和logs中存在重要的不能删除的数据，还请将数据迁移保存至别处，或使用其它方法进行解决）。 3、在每一个Jo

解码Hadoop系列——NameNode启动流程

manshiai的博客

08-11

4464

namenode的主要责任是文件元信息与数据块映射的管理。相应的，namenode的启动流程需要关注与客户端、datanode通信的工作线程，文件元信息的管理机制，数据块的管理机制等。其中，RpcServer主要负责与客户端、datanode通信，FSDirectory主要负责管理文件元信息。...

hadoop集群搭建--启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法_hadoop无法启动namenode(1)

2401_84181704的博客

04-11

768

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

HDFS中NameNode的启动过程

ClearloveXXX的博客

11-05

2328

Namenode保存文件系统元数据镜像，namenode在内存及磁盘上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的文件组成： fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。 edits文件：保存文件系统从上次checkpoint起对hdfs的所有...

HDFS核心源码解析(一)——NameNode的启动流程

zp的博客

08-29

1315

本文通过源码的方式详解了NameNode的启动流程 1. 通过createNameNode 创建new NameNode对象 2. NameNode在创建后立刻执行initialize方法 3. 创建并启动HttpServer 4. 加载元数据FSNamesystem 5. 创建并启动NameNodeRpcServer对象 6. 公共服务的检查，磁盘空间、安全模式 7. 最后提供了一张大图，对NameNode启动流程做了总结

HDFS-源码NameNode启动(含安全模式)

尹忠政的博客

11-16

437

HDFS-源码NameNode启动(含安全模式) 上一篇总结了HDFS的RPC机制，那么本篇主要是来总结NN的启动，启动流程如下忽略细节，抓住重点，那么从上图可以发现NN的启动伴随着如下时间的发生 hdfs web服务启动 NN文件系统被加载，初始化工作 rpcServer 被创建 namesystem 被启动 rpcServer 启动在namesystem.startCommonServices()被调用的时候会进行安全检查首先就是检查NN目录是否满足系统要求文件夹最小存储空间为100M

Hadoop生态圈（六）- HDFS NAMENODE 安全模式

程序园@大Null

01-17

4049

安全模式概述，安全模式自动进入离开，安全模式手动进入离开，手动获取安全模式状态信息

Hdfs-NameNode启动过程

iteye_19353的博客

04-10

144

懒得写了，借阅地址 http://www.linuxidc.com/Linux/2012-01/51614.htm

macos docker 安装hdfs hdfs namenode -format 报错没有hdfs