HDFS-源码NameNode启动(含安全模式)

最新推荐文章于 2025-01-17 21:51:25 发布
原创 最新推荐文章于 2025-01-17 21:51:25 发布 · 459 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #大数据

本文详细介绍了HDFS NameNode的启动过程，包括hdfsweb服务启动、NN文件系统加载、RPCServer创建、NameSystem启动等关键步骤。在启动过程中，NameNode会进行一系列的安全检查，如目录空间要求、安全模式判断，确保副本状态正常、DataNode数量达标以及EditLog目录可用空间等。这些检查确保了HDFS在启动时的稳定性和安全性。

HDFS-源码NameNode启动(含安全模式)

上一篇总结了HDFS的RPC机制，那么本篇主要是来总结NN的启动，启动流程如下
在这里插入图片描述
忽略细节，抓住重点，那么从上图可以发现NN的启动伴随着如下时间的发生

  • hdfs web服务启动
  • NN文件系统被加载，初始化工作
  • rpcServer 被创建
  • namesystem 被启动
  • rpcServer 启动

在namesystem.startCommonServices()被调用的时候会进行安全检查

  1. 首先就是检查NN目录是否满足系统要求
    1. 文件夹最小存储空间为100M
    2. 大于等于100M的文件夹数目>=1
    3. 赋值给 hasResourcesAvailable
  2. checkMode() 系统是否进入安全模式
    1. 系统的副本状态正常文件在0.999以下
    2. datanodeThreshold 最小dn数 默认为0，不为0的话，一旦dn个数小于阈值，那么就会进入安全模式
    3. 正常的editLog目录数目最小默认为1 目录下的可用空间最小是100M
HDFS核心源码解析(一)——NameNode的启动流程
zp的博客
08-29 1374
本文通过源码的方式详解了NameNode的启动流程 1. 通过createNameNode 创建new NameNode对象 2. NameNode在创建后立刻执行initialize方法 3. 创建并启动HttpServer 4. 加载元数据FSNamesystem 5. 创建并启动NameNodeRpcServer对象 6. 公共服务的检查，磁盘空间、安全模式 7. 最后提供了一张大图，对NameNode启动流程做了总结
深入HDFS——NameNode启动源码
从知识输入到知识输出
01-16 1275
深入NameNode启动源码。
HDFS Namenode启动过程
weixin_33857679的博客
04-19 731
Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的两类文件组成： fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。 edits文件：保存文件系统从上...
HDFS源码之NameNode 启动流程
地球人是我哈的博客
11-24 876
HDFS源码之NameNode 启动流程 1. start-dfs.sh "$HADOOP_PREFIX/sbin/hadoop-daemons.sh" --config "$HADOOP_CONF_DIR" \ --hostnames "$NAMENODES" \ --script "$bin/hdfs" start namenode $nameStartOpt 2. hadoop-daemons.sh "$bin/slaves.sh" --config $HADOOP_CONF_DIR
HDFS中NameNode的启动过程
ClearloveXXX的博客
11-05 2381
Namenode保存文件系统元数据镜像，namenode在内存及磁盘上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的文件组成： fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。 edits文件：保存文件系统从上次checkpoint起对hdfs的所有...
HDFS之NameNode的启动过程分析
meilong_whpu的专栏
10-26 2005
创建NameNode的入口为NameNode.main(String[] argv)，主要的创建工作在方法NameNode.createNameNode(String[] argv, Configuration conf)中，分析如下： 一.【parseArguments(argv)】：解析启动NameNode命令传来的参数，启动参数有：“-format，-regular，-upgrade，-r
HDFS源码分析——NameNode启动流程
机械工程跑路哥
10-03 2013
NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式
HDFS源码阅读--Namenode文件系统目录树及数据块管理
weixin_42946624的博客
12-06 1291
文章目录Namenode一、文件系统目录树1. INode相关类1.1 INode类1.2 INodeWithAdditionalFields类1.3 INodeDirectory类1.4 INodeFile类1.5 INodeReference类2. FSEditLog类2.1 transactionId机制2.2 FSEditLog状态机2.3 EditLogOutputStream类2.4 ...
hadoop 源码分析（一）HDFS nameNode 之 httpServer启动源码分析
wangxuelei036的博客
01-07 714
一、HDFS概述 基于hadoop2.6 HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。 特点：高容错和高吞吐量、易扩展、高可靠性 HDFS的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP） 这里一些基本的概念我们就不重复叙述了，毕竟都是看源码的人了，连基本操作都不会我肯定是不信的所以我们直接进入正题 二、nameNode 之 httpServer启动源码分析 源码分析是一个缓慢的过
hdfs中NameNode启动过程介绍
qq_35286875的博客
09-05 1243
NameNode启动过程详解一、简单介绍NameNode NameNode存储整个文件系统的元数据。二、NameNode的存储 NameNodede数据存放在两个地方，一个是内存，一个是本地磁盘。在磁盘中的存储分为fsimage（镜像文件）、edits（编辑日志文件）。三、NameNode的启动过程 1.第一次启动hdfs时，我们需要格式化hdfs文件系统。hdfs bin/hdfs name
Hdfs-NameNode启动过程
iteye_19353的博客
04-10 156
懒得写了，借阅地址 http://www.linuxidc.com/Linux/2012-01/51614.htm
HDFS中NameNode启动过程
weixin_30342827的博客
04-13 363
移动到hadoop文件目录下 NameNode启动命令:sbin/hadoop-daemon.sh start namenode DataNode启动命令:sbin/hadoop-daemon.sh start datanode 过程描述: NameNode启动后，会进入30秒的等待时间，此时处于安全模式，所谓的安全模式就是只能执行相关读取操作，比如查看text，下载get等，不能执行创建...
四、HDFS中NameNode的启动过程
zippo
01-24 2429
一、HDFS中NameNode的启动过程 1、在hdfs-site.xml中设置文件存储路径并指向data路径，在hadoop安装路径中新建data目录。 2、进行namenode格式化，在data目前中生成各类目录，并生成fsimage文件。 3、第一次启动namenode硬盘中将fsimage加载到内存中，hdfs文件如果修改，将写edits文件作为log，并将最新修改内容加
hdfs-namenode
February13的博客
04-19 1882
其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性 是hdfs-site.xml的 派生（会覆盖hdfs-default.xml），当没有配置hdfs-site.xml时，（上述文件所在路径有一个参数（dfs.namenode.name.dir ）去控制：）
HDFS - NameNode启动流程
syun_tau的博客
11-01 331
HDFS NameNode启动流程 NameNode 启动流程梳理 初始化 httpServer，启动服务 加载fsImage 初始化 rpcServer 处理安全模式 启动 rpcServer 启动重要的服务：等待复制的线程、心跳管理线程等 参考流程图
大数据||HDFS||NameNode启动过程详解
weixin_33911824的博客
02-08 169
NameNode数据存放的地方有2个 1、内存 2、本地磁盘。镜像文件（fsimages）和日志文件（edits） 说明：格式化namenode目的是生成 fsimages文件。它是用来存放元数据的。 第一次启动过程如下： 0、format namenode 1、fsimages 2、sta...
高可用hadoop的hdfs启动的时候namenode启动不了
weixin_30699443的博客
03-29 1336
启动的时候，一直要求输入namenode密码： 查看namenode的日志如下： 2019-03-28 18:38:08,961 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: datanode1/192.168.197.136:8485. Already tried 47 time(s); retry poli...
深入HDFS——DataNode启动源码
最新发布
从知识输入到知识输出
01-17 1314
深入DataNode启动源码
hdfs-3.1.3——NN&DN启动源码剖析
qq_37187606的博客
09-28 1257
hdfs这个组件在启动的时候会开启三个JVM实例——namenode、datanode
Hadoop 2.7.2集群重构：实现hdfs-over-ftp的直接使用
根据提供的文件信息，我们将重点讨论 Hadoop 2.7.2 版本的集群搭建、hdfs-over...在进行 Hadoop 集群搭建和使用 hdfs-over-ftp 的过程中，需要详细配置并测试系统的每个环节，确保数据的存储安全和高效的数据处理能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值