Spark on YARN 任务报错：操作类别 READ 在状态为 standby 时不受支持

最新推荐文章于 2025-09-23 22:03:26 发布

PixelDyno

最新推荐文章于 2025-09-23 22:03:26 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/PixelDyno/article/details/133081473

编程专栏收录该内容

350 篇文章 ¥29.90 ¥99.00

订阅专栏

本文介绍了在Spark on YARN执行任务时遇到的'Operation category READ is not supported in state standby'错误，分析了错误原因，并提供了解决方案，包括检查YARN集群状态、配置ResourceManager高可用性、检查网络连接和更新Spark及Hadoop版本。

Spark on YARN 是一种在 Hadoop 集群上运行 Spark 应用程序的方式，它提供了分布式计算的能力。然而，有时候在执行 Spark on YARN 任务时会遇到错误，其中之一是 “Operation category READ is not supported in state standby”。本文将详细解释这个错误的原因，并提供可能的解决方案。

错误背景
当我们在 Spark on YARN 上执行一个任务时，Spark 应用程序会通过向 YARN 集群提交应用程序来启动。YARN ResourceManager 负责接收并分配资源，然后将任务分发给可用的 NodeManager 执行。然而，在某些情况下，当任务尝试执行读取操作（READ）时，会出现 “Operation category READ is not supported in state standby” 错误。

错误分析
这个错误通常发生在 Spark on YARN 集群的 ResourceManager 和 NodeManager 之间的通信过程中。当 ResourceManager 处于 standby 状态时，它不会处理读取操作。这可能是由于 ResourceManager 正在进行故障转移、重新选举或其他维护操作导致的。

解决方案
要解决此问题，可以尝试以下几个解决方案：

检查 YARN 集群状态：首先，确保 YARN 集群的状态正常。使用以下命令检查 ResourceManager 的状态：
```
yarn rmadmin -getServiceState rm1
```

如果状态显示为 standby，表示 ResourceManag
```

了解本专栏