HDFS HA指令运行顺序

最新推荐文章于 2025-05-19 16:31:30 发布
最新推荐文章于 2025-05-19 16:31:30 发布
阅读量557 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41227335/article/details/83051573
本文详细介绍了Hadoop高可用（HA）部署过程，包括Zookeeper的启动，JournalNode与Namenode的配置与启动步骤，以及解决namenode无法读取日志的问题。同时，讲解了如何通过zkfc实现自动故障切换，并提供了离开安全模式的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一开始先启动zookeeper

/opt/modules/zookeeper-3.4.5-cdh5.10.0/sbin/zkServer.sh start

再开JournalNode

/opt/modules/hadoop-2.5.0/sbin/hadoop-daemon.sh start journalnode

否则namnode读取不到日志信息，namenode启动不起来。

再先启动主Namenode节点的Namenode：

然后在standByNamenode节点上先同步主Namenode的元数据：

/opt/modules/hadoop-2.5.0/bin/hdfs namenode -bootstrapStandBy
注意：如果提示连不上standBy namenode的主机要先开那一台主机的namenode。

再启动standByNamenode节点上的Namenode

在hadoop目录下的sbin/start-all.sh

这个命令会先启动配置好的NameNode、datanode，再启动journalnode集群，最后启动yarn，即ResourceManager和Nodemanager

之后看50070页面，配置HA的两台机器都为standBy，需手动指定active机器

/opt/modules/hadoop-2.5.0/bin/hdfs haadmin -transitionToActive nn1 --forcemanual

最后需要启动zkfc自动故障切换

/sbin/hadoop-daemon.sh start zkfc

最后，如果因安全模式不能操作HDFS

hdfs dfsadmin -safemode leave

参考：

https://blog.youkuaiyun.com/u011414200/article/details/50437356

4_HDFS的HA机制（ZKFC、QJM）
nothair的博客
03-01 859
2020/12/14 sunhaiqi@bonc.com.cn 文章目录HDFS的HA机制（ZKFC、QJM）一、HA（HighAvailable）概述二、HDFS-HA工作机制2.1、工作要点2.2、工作机制2.3、运行模块2.3.1、ZKFailoverController(DFSZKFailoverController):2.3.2 、HealthMonitor:2.3.3 、ActiveStandbyElector:2.3.4 、FailoverController:2.4、系统架构2.5、线程模型
HDFS HA: 高可靠性分布式存储系统解决方案的历史演进
anzhsoft的技术专栏
04-10 2万+
HDFS，为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS的系统架构是典型的主/从架构，早期的架构包括一个主节点NameNode和多个从节点DataNode。 HDFS HA的解决方案可谓百花齐放，Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shared NAS+NFS，因为简单易用，但是需要提供一个HA的共享存储设备。而
HDFS的启动流程和HA
qq_42456324的博客
09-10 1360
通过阅读专栏之前的内容我们知道 HDFS 集群的元数据信息是存放在 NameNode 的内存中的，当集群扩大到一定的规模以后， NameNode 内存中存放的元数据信息可能会非常大，由于 HDFS 的所有的操作都会和 NameNode 进行交互， 当集群很大时， NameNode 会成为集群的瓶颈。Active NameNode 负责所有的客户端操作，而 Standby NameNode 只是简单的充当 Slave，它负责维护状态信息以便在需要时能快速切换。
HA启动顺序
Jianghebujini的博客
05-19 231
1.启动zkServer 2.zkServer.sh status查看状态 3.依次启动所有JournalNode（必须在namenode之前），hdfs --daemon start journalnode 4.清除所有namenode目录数据，并格式化namenode，hdfs namenode -format 5.hdfs zkfc -formatZK命令，格式化ZKFC，并启动ZKFC 6.主节点启动namenode，hdfs --daemon start namenode 7.在第二.
Hadoop高可用HA启动顺序
大数据
11-11 2385
master,slave1,slave2,zookeeper启动 cd /usr/zookeeper/zookeeper-3.4.10/ bin/zkServer.sh start bin/zkServer.sh status master,slave1,slave2启动 JournalNode 进程 cd /usr/hadoop/hadoop-2.7.3 sbin/hadoop-daemon.sh start journalnode master ,slave1启动守护进程 zkfc sbin/ha
HDFS HA服务启动及自动故障转移步骤
weixin_30817749的博客
04-18 167
转载于:https://www.cnblogs.com/justins999/p/10727856.html
HA 下执行JAVA操作hdfs
wangzhantao的专栏
01-14 212
  1 拷贝HA中core.xml和hdfs.xml文件到工程src下 2 java代码，其中ns1是nameservice名称 public class HDFSHATest { public static void main(String[] args) throws Exception { Configuration conf = new Configuration...
【Zookeeper在HDFS HA中的作用】：揭秘Zookeeper的高可用性秘密
![HDFS HA的实现体验库](https://img-blog.csdnimg.cn/2018112818021273.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0...Zookeeper和HDFS HA（High Avail
Cent OS 7+Hadoop2.9.0 本地模式、伪分布模式、完全分布模式、HDFS HA+YRAN HA高可用模式、HDFS Federation模式搭建教程-适合新手
qq_39578195的博客
09-10 705
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.9.0版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Ha...
HDFS分布式文件系统
wlq_567的博客
05-19 948
HDFS 的热、温、冷数据分层存储是大数据存储优化的核心能力之一，通过将数据按访问特征匹配到不同介质，实现了 “性能、成本、可靠性” 的平衡。这一机制尤其适用于数据具有明显生命周期特征的场景（如互联网日志从实时处理到历史归档），帮助企业在海量数据管理中降低成本、提升效率。
ha 启动命令
lijie12233的专栏
10-22 1390
1. sbin/hadoop-daemon.sh start journalnode 2.bin/hdfs namde -format 3.sbin/hadoop-daemon.sh start namenode 4. bin/hdfs namenode -bootstrapStandby
HA集群的启动命令（离线-实时数仓）
2301_77257988的博客
02-29 1481
脚本：zk.sh start三台集群命令：bin/zkServer.sh start查看状态：bin/zkServer.sh status。
linux ha启动命令,haproxy(一)linux上安装和基本设置
weixin_31006689的博客
05-02 553
当前位置:我的异常网» Linux/Unix»haproxy(一)linux上安装和基本设置haproxy(一)linux上安装和基本设置www.myexceptions.net网友分享于：2015-08-26浏览：8次haproxy(一)linux下安装和基本设置haproxy(一)linux下安装和基本设置首页http://haproxy.1wt.eu/中文资料http://cn....
hadoopHA启动和停止命令
互联网知识分享
05-12 407
启动或关闭单一的zkfc，在集群里面哪个节点先启动zkfc，就成为active状态。将[nn1]切换为Active，这个只能使用在手工的高可用，自动高可用不能使用。启动journalnode服务(edit的共享有数据的守护进程)（启动集群和关闭集群只能在主节点上使用该命令，才能产生效果）（启动集群和关闭集群只能在主节点上使用该命令，才能产生效果）(2)在start-all.sh（也可以分开启动）注意 ：在关闭虚拟机的时候，一定要关闭这些进程，(3)备份的yarn不会启动，所以要单独启动。
hdfs ha的操作步骤
amazon2006的博客
05-09 318
       hadoop的ha操作流程，本操作是利用ambari完成，如果不是使用ambari，可以参考，要保证其中命令的执行顺序。如果是手动安装hadoop的ha时，可以参考以下执行的命令，但是要保证命令执行的顺序。          hadoop2.0以后的版本支持HA，如图安装HDFS的HA，保证节点在三个以上。        1. 安装流程从下图开始：       2....
Hadoop HDFS 架构学习总结
李玉坤的博客
11-19 463
文章目录HDFS 1.0 架构NameNodeSecondary NameNodeDataNode文件写入过程文件读取过程HDFS 1.0 的问题HDFS 2.0 的 HA 实现FailoverController自动触发主备选举HDFS 脑裂问题第三方存储（共享存储）HDFS 2.0 Federation 实现Federation 架构Federation 的核心设计思想 转载自 https:/...
Hadoop Journal Node 作用
ForeverDWYW的博客
04-07 1082
NameNode之间共享数据(NFS、QuorumJournal Node(用得多)) 两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控editlog的变化，把变化应用
Hadoop集群部署和启动与关闭
热门推荐
想你依然心痛的博客
06-12 3万+
为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。
HDFS HA高可用状态转换
destinyoooooooo的博客
08-22 1258
【代码】HDFS HA高可用状态转换。
hdfs 教程
最新发布
07-19
- **DataNode (DN)**：负责存储实际的数据块，并根据客户端或 NameNode 的指令执行数据块的读写操作。 - **Client（客户端）**：客户端负责文件的切分，在上传文件时将文件拆分为多个 Block 并上传。客户端还与 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值