HADOOP HA 报错 - 所有 namenode 都是standby --集群报错：Operation category READ is not supported in state standb

最新推荐文章于 2023-01-22 18:50:45 发布
原创 最新推荐文章于 2023-01-22 18:50:45 发布 · 474 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

Hadoop HA 集群出现错误，所有 NameNode 处于 standby 状态，导致读取操作不支持。通过检查 jps 输出，发现所有节点的角色分配不正确。尝试使用 `haadmin -transitionToActive --forcemanual` 强制转换 NameNode 为主动状态，但问题在重启后重现。进一步的解决方案是执行 `hdfs zkfc -formatZK` 初始化 ZooKeeper，重启后集群恢复正常。这表明问题确实源于 ZooKeeper 的配置或状态。

报错：

在这里插入图片描述
经过查看集群的jps如下：

==================== hadoop01 jps ===================
2561 FsShell
1971 ResourceManager
2452 NameNode
2606 Jps
==================== hadoop02 jps ===================
1570 NodeManager
1363 DataNode
1462 JournalNode
1303 QuorumPeerMain
1722 Jps
==================== hadoop03 jps ===================
1573 NodeManager
1366 DataNode
1465 JournalNode
1305 QuorumPeerMain
1725 Jps
==================== hadoop04 jps ===================
1458 JournalNode
1302 QuorumPeerMain
1718 Jps
1566 NodeManager
1359 DataNode
==================== hadoop05 jps ===================
1574 Jps
1295 NameNode

查看日志：
在这里插入图片描述

状况：

<
最低0.47元/天 解锁文章
Spark3启动报错：Operation category READ is not supported in state standby
zhengzaifeidelushang的博客
11-09 924
Spark3启动报错：Operation category READ is not supported in state standby 一、查看报错原因 此时bigdata1节点HDFS处于standby状态，bigdata2节点HDFS处于active状态，这与Spark环境变量中设置的Master节点是bigdata1冲突。 解决的办法是使得bigdata1节点重新处于active状态。 [root@bigdata1 bin]# hdfs haadmin -getServiceState nn1 st
HBase启动报错：Operation category READ is not supported in state standby
yxf19034516的博客
04-24 839
今天配置HBase的HA，启动的时候，master1节点的HMaster启动10秒左右就自动挂掉，master2的备份节点的web界面也访问不了，查看日志报了如下错误： 2020-04-24 16:51:45,573 FATAL [Master1:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting s...
HDFS 2.x 使用经验
Dean Chen的专栏
09-28 2199
本文会不断增加内容查看namnode状态web方式两个namenode的话，可以通过网页的方式查看http://10.149.11.152:50070/dfshealth.html#tab-overviewhttp://10.149.11.153:50070/dfshealth.html#tab-overview在两个页面的overview可以看到namenode的状态：active or sta
hdfs（二）高可用单NameNode从standby恢复为active
Interest1_wyt的博客
01-22 2791
将高可用hdfs ha降为单namenode可行。如果两个namenode有一个不能用了，紧急情况下就可以通过修改配置的方式将hdfs降低为单namenode的集群继续进行工作。
hdfs（一）高可用单NameNode从standby恢复为active
Interest1_wyt的博客
01-22 2402
hdfs ha集群中，通过新增namenode节点解决单namenode损坏导致集群处于standby状态问题
namenode状态standby导致hadoop运行故障
peidezhi的专栏
04-27 734
1 CDH强制手动切换HA下active namenode后报如下错误：（nn1切换为standby,nn2切换为active） hadoop和hive执行报错，如下错误信息： Operation category READ is not supported in state standby......... 2.重新启动zkfc（在sbin目录下） 如果...
Hadoop集群异常：两个NameNode全部为StandBy状态
王洋的专栏
08-24 2万+
之前的集群状态一直是很好用，可能中间忙于其他的事情，有些文件失效了吧，这次运行的时候，出现了问题，那就是两个NameNode全部是StandBy的状态，这种问题存在的原因大部分都是因为Zookeeper的zkfc进程未启动成功，当然即使你启动了Zookepper进程也是没用的，因为此时只要ZKFC进程未启动的话，那么，HDFS就没办法与Zookeeper之间建立沟通的桥梁。ZKFC是ZooKeep
执行hadoop中bin操作时报错：Operation category READ is not supported in state standby
梦忆故城的博客
04-22 4718
在hadoop执行操作的时候报错如下： 从报错中可以分析出错误：其中Operation category READ is not supported in state standby 原因：配置了Hadoop HA，启动了一个hadoop NameNode时而启动的NameNode为standby状态。 查看nn1状态： 解决方法：将standby状态手动改为act...
hdfs错误待机状态： Operation category READ is not supported in state standby
weixin_57821489的博客
12-08 2492
初步判断是由于HA节点中处于standby状态造成的异常，困扰：项目开放的hdfs端口只有一台服务器 原因： 原来nn1机器是active，nn2是standby, 现在nn1变成了standby。 （1）在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 （2）hadoop2.
解决：hadoop2.5.2 HA启动时出现了两个standy的Namenode，没有出现active的Namenode
大数据之美
07-31 837
hadoop启动时报：Unable to trigger a roll of the active NN 错误。 HA启动时出现了两个standy的Namenode，没有出现active的Namenode（通过web界面查看到的） 执行jps查看进程发现，状态监控进程：DFSZKFailoverController 没有启动。 HA模式下，在zookeeper集群没有启动的情况下，执行st...
Hadoop HA集群 NameNode 无法自动故障转移（切换active）两个集群状态都是standby
w11864882596的博客
08-13 1342
问题：用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的NameNode 并没有自动切换为 Active状态，而且重启杀死的 NameNode 后，可能出现所有NameNode节点都变成了 Standby状态的情况，一个Active状态的都没有。 1.在hdfs.site.xml中找sshfence的配置 加入 sshfence shell(/bin/true) /bin/true shell 脚本说明 /bin/true 是 linux 系统自带
通过命令来查看NameNode的状态（是Active还是Standby）
weixin_33717298的博客
02-08 958
 通过浏览器虽然可以查看HDFS的NameNode的状态，如果感觉不方便，可以直接使用命令来查看（前提是HDFS已经启动）： [root@hadoop01 ~]# hdfs haadmin -getServiceState nn1 active [root@hadoop01 ~]# hdfs haadmin -getServiceState nn2 standby [root@hadoop01 ...
centos7通过命令来查看NameNode的状态（是Active还是Standby）
hsg77的专栏
07-06 2473
通过浏览器虽然可以查看HDFS的NameNode的状态，如果感觉不方便，可以直接使用命令来查看（前提是HDFS已经启动）： [root@hadoop01 ~]# hdfs haadmin -getServiceState nn1 active [root@hadoop01 ~]# hdfs haadmin -getServiceState nn2 standby [root@hadoop...
Hadoop HA集群 NameNode 无法自动故障转移（切换active）
Never-Say-Never
01-03 4715
在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html配置，最后所有的节点都启动正常。 用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的...
hadoop集群启动
Code First
12-16 558
注意：所有操作均在Hadoop部署目录下进行。 启动Hadoop集群： ------------------------------------------------------------------- (1) 启动nn1与nn2 Step1 : 在各个JournalNode节点上，输入以下命令启动journalnode服务： sbin/hadoop-daemon.sh start
Hadoop错误 NameNode is not formatted.
荒-于嬉的博客
05-30 2836
公司服务器网络割接,服务器换了新的IP地址,Hadoop服务器在换完网络后需要修改IP恢复使用,但是遇到一个问题. 起因是这样子的,由于服务器前面新加了交换机和路由器,网关掩码和IP都需要修改,但是我的集群是三台Hadoop节点,通过/etc/hosts中添加解析(如: 192.168.1.10 h1)这种,并且修改IP前没有停止Hadoop服务,就直接断网开始割接. 网络割接完成后修改IP重启了网卡,然后我使用命令 for i in `jps |awk '{print $1}';do kill -9 $i
Hadoop之HDFS及NameNode单点故障解决方案
weixin_33757911的博客
07-24 3175
Hadoop之HDFS 版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处：http://www.cnblogs.com/sxt-zkys/QQ技术交流群：299142667 HDFS介绍 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。 什么是分布式文件系统 分布...
hadoop报错： Operation category READ is not supported in state standby
热门推荐
u012447842的博客
05-29 12万+
问题1： Operation category READ is not supported in state standby 初步判断是由于HA节点中处于standby状态造成的异常   原因： 原来nn1机器是active，nn2是standby, 现在nn1变成了standby。   （1）在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则
NameNode格式化失败问题的解决
weixin_41507573的博客
05-14 6402
NameNode格式化失败问题的解决15/04/08 10:05:43 INFO namenode.NameNode: registered UNIX signal handlersfor [TERM, HUP, INT]15/04/08 10:05:43 INFO namenode.NameNode: createNameNode [-format]15/04/08 10:05:43 WARN ...
chmod: Operation category READ is not supported in state standby
最新发布
07-11
在 Hadoop 高可用（HA）配置中，当尝试对 HDFS 文件或目录执行 `chmod` 操作时，如果当前 NameNode 处于 Standby 状态，则会遇到如下错误： ``` Operation category READ is not supported in state standby ``` 此问题的根本原因是：在 HA 模式下，Hadoop 的 Standby NameNode 仅支持有限的只读操作，而某些元数据更改或访问操作（如 `chmod`）必须由 Active NameNode 处理[^1]。 ### 原因分析 - **NameNode 状态限制**：Standby NameNode 主要用于故障转移和日志同步，并不处理客户端的写操作或部分元数据访问请求。 - **客户端配置问题**：若客户端未正确指向 Active NameNode 或未启用自动故障转移机制（如 ZooKeeper），则可能将请求发送到 Standby NameNode，从而导致失败。 ### 解决方案 确保客户端能够正确识别并连接到 Active NameNode。以下是几种可行方法： #### 1. 使用逻辑 URI 而非直接 IP 地址 在 HDFS 客户端配置中使用逻辑名称（如 `hdfs://mycluster/`），而不是直接指定某个 NameNode 的地址（如 `hdfs://nn1:8020/`）。这种方式依赖于 `hdfs-site.xml` 中配置的 HA 服务名称解析。 ```xml <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>host1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>host2:8020</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> ``` 该配置使客户端能通过 ZooKeeper 自动切换到 Active NameNode [^1]。 #### 2. 显式检查并切换 NameNode 状态 通过命令行工具手动确认当前 Active NameNode： ```bash hdfs haadmin -getServiceState nn1 ``` 若返回 `standby`，则应将操作发送至另一个节点，或使用以下命令手动切换状态： ```bash hdfs haadmin -failover nn1 nn2 ``` #### 3. 在程序中配置 Failover 支持 若使用 Java API 编程访问 HDFS，需确保配置了正确的 Failover Proxy Provider，以实现自动切换功能： ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://mycluster"); FileSystem fs = FileSystem.get(conf); ``` 这样即使当前连接的 NameNode 是 Standby 状态，也会自动重定向到 Active 节点 [^1]。 ### 总结 Hadoop 的 `chmod` 命令在 Standby NameNode 上失败是由于其状态限制所致。为避免此类问题，应确保客户端始终连接到 Active NameNode，可通过配置逻辑 URI、使用 ZooKeeper 自动故障转移机制或显式切换 NameNode 状态等方式实现。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值