九：Operation category READ/WRITE is not supported in state standby解决案例

最新推荐文章于 2024-12-31 10:30:11 发布

原创

最新推荐文章于 2024-12-31 10:30:11 发布 · 1.6w 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

在启用HA的Hadoop集群中，运行Spark程序时遇到'Operation category READ/WRITE is not supported in state standby'异常。问题源于客户端尝试与备用NameNode进行读写操作。解决方案包括检查NameNode状态，确认应用程序配置，以及核对core-site.xml配置文件，确保指定的文件系统路径正确。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：问题现象：

在IDEA写好程序并打包传到hadoop001上去执行的时候，统计不成功，报如下异常：
各文件目录如下：log.sh :/home/hadoop/shell
G5-Spark-1.0.jar :/home/hadoop/lib
在这里插入图片描述

2：处理过程

2.1依据提示找到相应问题解答：

在启用ha的集群中，DFS客户端无法预先知道在操作的时刻哪个NameNode处于活动状态。因此，当客户端与NameNode联系，而NameNode恰好是备用节点时，读或写操作将被拒绝，此消息将被记录下来。然后，客户端将自动与另一个NameNode联系，并再次尝试该操作。只要集群中有一个活动的NameNode和一个备用的NameNode，这个消息就可以安全地被忽略。如果应用程序配置为始终只联系一个NameNode，则此消息表示应用程序无法执行任何读/写操作。在这种情况下，需要修改应用程序以使用集群的HA配置。JIRA HDFS-3447处理降低此消息的严重性(以及类似消息)。
3.17. What does the message “Operation category READ/WRITE is not supported in state standby” mean?
In an HA-enabled cluster, DFS clients cannot know in advance which namenode is active at a given time. So when a client contacts a namen