HDFS的启动过程

最新推荐文章于 2024-12-09 15:00:00 发布
原创 最新推荐文章于 2024-12-09 15:00:00 发布 · 2.9k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS

本文详细介绍了HDFS的启动过程，包括四个阶段：加载fsimage、edits日志、生成检查点和进入安全模式。同时，阐述了HDFS的安全模式，这是一种确保数据块完整性的保护机制，只有在安全模式关闭时，HDFS才允许读写操作。安全模式会检查数据块的副本率，确保其达到预设的最小副本率要求。

HDFS的启动过程

HDFS的启动过程分为四个阶段：
第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存；
第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中
第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中
第四阶段：进入安全模式，检查数据块的完整性

HDFS的启动过程

HDFS的安全模式

  • 什么是安全模式
    安全模式是HDFS的一种保护机制，用于保证数据块的完整性。当HDFS处于安全模式下，HDFS是只读状态，命令无法使用；只有安全模式处于OFF状态时，命令才能使用。
  • 安全模式的检查过程
    当HDFS处于安全模式下时会检查数据块的完整性。假设我们设置的副本数为3（即配置hdfs-site.xml文件，如下）那么在datanod上有3个副本。
    如果系统只存在2个副本，那么副本率为2/3=0.666，在hdfs-default.xml中定义了一个最小副本率0.999f。我们的副本率0.666明显小于0.999f, 因此系统会复制副本到其他的datanode，使得副本率不小于0.999f；
    如果系统中的副本为4，超过了我们设定的2，系统就会删除多余的2个副本
<!--hdfs-site.xml配置副本数-->
<property>	
	<name>dfs.replication</name>
	<value>3</value>
</property>

<!--hdfs-default.xml配置副本率-->
<property>
  <name>dfs.namenode.safemode.threshold-pct</name>
  <value>0.999f</value>
  <description>
    Specifies the percentage of blocks that should satisfy
    the minimal replication requirement defined by dfs.namenode.replication.min.
    Values less than or equal to 0 mean not to wait for any particular
    percentage of blocks before exiting safemode.
    Values greater than 1 will make safe mode permanent.
  </description>
</property>
  • 进入 退出 查看安全模式的命令
    hdfs dfsadmin -safemode get 查看安全模式状态
    hdfs dfsadmin -safemode enter 进入安全模式
    hdfs dfsadmin -safemode leave 离开安全模式
Hdfs启动过程及文件读写流程（精简专业版本）
生存，生活，差之毫厘谬以千里也
05-28 916
一.Hdfs启动过程： HDFS的启动过程分为四个阶段： 第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存； 第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中 第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中 第四阶段：进入安全模式，检查数据块的完整性 ...
【若泽大数据实战第十一天】HDFS启动过程详解
强悍de巨人
05-21 453
前言：整理HDFS整个启动的详细过程Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。namenode在磁盘上的两类文件组成：fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。edit...
hdfs启动流程
weixin_44352020的博客
05-05 684
Namenode 1.init() namenode初始化，执行加载配置文件等操作 2.loadFsImage() 开始加载元数据将FsImage护额徐为目录树，保存在内存中FsImage中主要包含了问价你和数据块的对应关系 3.loadEditlog() 加载Editlog，将Editlog中记录的元数据修改应用到内存中； 4.saveCheckpoint() 将内存中最新的目录树持久化为新的F...
HDFS集群启动过程详解
Amber_amber的专栏
07-29 5832
HDFS的启动过程和关闭过程都经过脚本进行了封装，只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明，对关闭过程目前还没有调研，所以暂缺。 HDFS的启动分三步骤： l  第一步，启动namenode；l  第二步，启动datanode；l  第三步，启动Secondary namenode。 下面一一描述。
HDFS Namenode启动过程
weixin_33857679的博客
04-19 731
Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的两类文件组成： fsimage文件：保存文件系统至上次checkpoint为止目录和文件元数据。 edits文件：保存文件系统从上...
hdfs开机启动流程
鸭梨的博客
12-15 705
第一步： 加载name目录下最新的那个fsimage_xxx019文件，将里面存储的元数据（目录树结构）维护到内存中，但是还不是关机前的状态 第二步： 将关机前的最后使用的edits_inprogress_xxxx0160进行重命名 edits_0000000000000000160-0000000000000000169操作，然后生成一个最新的edits_inprogress_xxx170文件，并修改seen_txid里的值为170. 将从xxx020~xxx169的这个范围内的所有的edit日志文件加载
Hadoop：详解HDFS启动过程及相关节点工作机制（检查点机制、安全模式）
Jodness' Blogs
04-03 3256
Namenode是集群主从结构模型中的唯一的一个管理者，它负责 管理HDFS文件系统的命名空间（namespace)：文件系统树及整棵树内的所有文件和目录的元数据，而这些信息以两种文件形式持久化地保存在本地磁盘中； 管理数据块位置信息：命名空间镜像文件(fsimage) 管理着客户端的读写操作：编辑日志文件(editlog) 同时namenode维护了块到datanode的映射，即每个...
HDFS源码分析——NameNode启动流程
机械工程跑路哥
10-03 2011
NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式
HDFS启动过程+安全模式
now
11-10 442
可以通过StartUp Progress查看HDFS的启动过程： 1加载文件的元信息fsimage 2加载操作日志文件edits 3操作检查点 4自动进入安全模式，检查数据块的副本率是否满足要求。当满足要求后，退出安全模式【安全模式safemode是HDFS所处的一种特殊状态。处于这种状态时，HDFS只接受读数据请求，不能对文件进行写、删除等操作。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode回向NameNode上传它们数据块列表，让NameNode得到数据块的位置信息，
HDFS启动过程了解
小冷在努力~
09-10 424
Namenode目录:元数据(name,permission,block,replication)，没有dn的位置 当系统启动并加载fsimage完成之后(这个时候元数据都加载到内存中)，dn向namenode报告自己的块列表，这个时候形成数据块->datanode列表的映射，数据块到datanode列表的映射关系在namenode内存中维护。在实际的应用中，数据块到datanode的对应关系经
HDFS 启动顺序
geekLinyi‘s Blog
09-29 1157
HDFS 启动顺序 Loading fsimage：加载镜像文件 首次开启集群时，加载镜像文件：{hadoop.tmp.dir}/dfs/name/fsimage_0000000000000000000 再次开启集群时，Loading fsimage /home/hadoop/tmp/dfs/name/current/fsimage_0000000000000000002 Loading ...
一篇文章搞懂 HDFS 的启动流程
热门推荐
Shockang的博客
06-03 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 当 NameNode 启动时，从本地文件系统中读取 edits 和 FSImage 文件，将所有 edits 中的事务作用在内存中的 FSImage 上，并将这个新版本的 FSImage 从内存中写入到本地文件上，然后删除旧的 edits (这个过程称为检査点)，最后等待各个 DataNode 向 Na
HDFS的启动流程和HA
qq_42456324的博客
09-10 1390
通过阅读专栏之前的内容我们知道 HDFS 集群的元数据信息是存放在 NameNode 的内存中的，当集群扩大到一定的规模以后， NameNode 内存中存放的元数据信息可能会非常大，由于 HDFS 的所有的操作都会和 NameNode 进行交互， 当集群很大时， NameNode 会成为集群的瓶颈。Active NameNode 负责所有的客户端操作，而 Standby NameNode 只是简单的充当 Slave，它负责维护状态信息以便在需要时能快速切换。
HDFS启动过程
火羽的博客
01-12 2696
借鉴地址http://www.linuxidc.com/Linux/2012-01/51614.htm http://blog.youkuaiyun.com/xh16319/article/details/31375197要了解hdfs的启动，首先要了解几个概念： namenode，Secondarynamenode,datanode namenode 是一个中心服务器，他控制客户端对文件的访问，是一个集
【HDFS】架构 二 ：HDFS的启动流程、安全模式、服务器的分类、副本放置策略、读写流程
flowglow的博客
03-09 1173
本文提供了Hadoop分布式文件系统（HDFS）的详细架构分析，包括启动流程、安全模式、服务器分类、副本放置策略、写流程和读流程。 文章强调了HDFS在设计上对数据一致性和可靠性的重视，以及其在分布式计算环境中的高效读写能力。
HDFS源码分析——DataNode启动流程
机械工程跑路哥
10-08 2960
NameNode启动时，主要的几个步骤分别是： 1. `initDataXceiver` 初始化服务线程，用于接收Client和其他DataNode发来的数据 2. `startInfoServer` 初始化HTTP服务 3. `initIpcServer` 初始化RPC服务端 4. refreshNameNodes→doRefreshNamenodes →`createBPOS` 创建BPOS服务 ； →startAll→`connectToNNAndHadnshake`→`registerDatanod
HDFS之DataNode启动过程分析
meilong_whpu的专栏
10-27 3845
创建DataNode的入口DataNode.main(String[] args)，主要的处理逻辑在方法【DataNode.createDataNode(String[] args, Configuration conf, SecureResources resources)】中，分别初始化DataNode和启动DataNode线程两大步。 一.【DataNode.instantiateData
1、HDFS 架构、启动过程
12-26 253
Hadoop Distributed File System 易于拓展的分布式文件系统 运行在大量普通廉价机器上，提供容错机制 为大量用户提供性能不错的文件存取服务 NameNode Namenode是一个中心服务器，==单一节点==（简化系统的设计和实现），==负责管理文件系统的名字空间（namespace）以及客户端对文件的访问==。 文件操作，==NameNode负责文件元...
HDFS服务进程的启动和关闭
2302_78444522的博客
12-09 1348
步骤10 单点启动和关闭ResourceManager服务进程。步骤8 单点启动和关闭DataNode服务进程。步骤9 单点启动和关闭NameNode服务进程。步骤6 查看yarn所有正在运行的任务。步骤3 启动和关闭hdfs的服务进程。步骤4 启动和关闭Yarn的服务进程。步骤1 启动hadoop的所有服务。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。
HDFS启动状况
最新发布
05-10
### HDFS 启动问题及解决方案 HDFS（Hadoop Distributed File System）启动过程中可能会遇到多种问题，以下是常见的几种情况及其对应的解决方案： #### 1. **HDFS 使用空间超过阈值** 当 HDFS 的磁盘使用率超过配置的阈值（通常为 90%），可能导致 DataNode 无法正常启动。此时可以通过清理磁盘空间来解决问题[^1]。 - 解决方法： 删除不必要的数据文件或者调整 `dfs.datanode.du.reserved` 参数以降低触发条件。 如果 `/home/hadoop/dfs/name` 是由 `dfs.name.dir` 配置指定的本地路径，则可以直接删除该目录并重新格式化 NameNode 来释放空间。 --- #### 2. **ClusterID 不匹配** 如果 NameNode 和 DataNode 的 ClusterID 不一致，DataNode 将无法成功注册到 NameNode 上。这种问题可能发生在手动迁移或恢复节点的情况下[^2]。 - 解决方法： 查看 NameNode 日志获取其 ClusterID，并将其更新至所有 DataNode 节点的相关元数据文件中[^3]。具体操作如下： - 获取 NameNode 的 ClusterID： ```bash hdfs getconf -confKey dfs.cluster.id ``` - 替换 DataNode 中的 ClusterID 文件内容（通常位于 `${dfs.data.dir}/current/VERSION` 或其他相关位置）。 --- #### 3. **JournalNode 启动缓慢** 在高延迟网络环境下，JournalNode 可能会因为 DNS 查询耗时过长而启动较慢。这会影响整个 HDFS 集群的初始化速度[^4]。 - 解决方法： 检查主机名解析效率，优化 DNS 设置或禁用反向 DNS 查询功能。例如，在防火墙允许范围内运行以下命令测试性能： ```bash nmap -v 0.0.0.0 ``` --- #### 4. **权限不足** 某些情况下，由于操作系统级别的权限设置不当，导致 HDFS 进程无法访问必要的资源。 - 解决方法： 确认 HDFS 用户拥有对所有配置路径（如 `dfs.name.dir`, `dfs.data.dir`）的读写权限。必要时执行以下命令修复权限： ```bash chown -R hadoop:hadoop /path/to/hdfs/directories/ chmod -R 755 /path/to/hdfs/directories/ ``` --- #### 5. **日志分析与调试工具** 通过查看 HDFS 的日志文件可以快速定位问题所在。主要关注以下几个方面： - NameNode 日志 (`logs/hadoop-hdfs-namenode-.log`)； - DataNode 日志 (`logs/hadoop-hdfs-datanode-.log`)； - JournalNode 日志 (`logs/hadoop-hdfs-journalnode-.log`)。 利用这些日志信息配合上述方案逐一排查潜在原因。 --- ```python # 示例脚本：批量修改 DataNode 的 ClusterID import os def update_cluster_id(data_dir, new_cluster_id): version_file_path = f"{data_dir}/current/VERSION" if not os.path.exists(version_file_path): print(f"File {version_file_path} does not exist.") return with open(version_file_path, 'r') as file: lines = file.readlines() updated_lines = [] for line in lines: key, value = line.strip().split('=') if key == "clusterID": updated_lines.append(f"{key}={new_cluster_id}\n") else: updated_lines.append(line) with open(version_file_path, 'w') as file: file.writelines(updated_lines) update_cluster_id("/path/to/data/dir", "CID-xxxxxxxxxxxxxx") # 替换实际路径和 ID 值 ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值