Yarn Client HA模式下Spring XD AppMaster 异常问题调研-优快云博客

在XD环境中部署SpringHadoopYarn版本后，因RM与ZK通信异常导致AM被kill。博客详细分析了InvalidAMRMToken错误原因，并提出在网络不稳定环境下延长yarn.am.liveness-monitor.expiry-interval-ms配置的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

在XD中部署了修改过的支持Yarn Client HA的Spring Hadoop Yarn版本，运行一段时间后出现异常：

2017-03-31 14:52:01,243 DEBUG [DefaultContainerLauncher] - Checking status of containers previousely launched
2017-03-31 14:52:02,329 WARN [Client$Connection$1] - Exception encountered while connecting to the server :
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): Invalid AMRMToken from appattempt_1490607357271_0001_000002
2017-03-31 14:52:02,331 WARN [RetryInvocationHandler] - Exception while invoking class org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.allocate over rm2. Not retrying because failovers (30) exceeded maximum allowed (30) org.apache.hadoop.security.token.SecretManager$InvalidToken: Invalid AMRMToken from appattempt_1490607357271_0001_000002     
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)     
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)     
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)     
at java.lang.reflect.Constructor.newInstance(Constructor.java:422)      at org.apache.hadoop.yarn.ipc.RPCUtil.instantiateException(RPCUtil.java:53)     
at org.apache.hadoop.yarn.ipc.RPCUtil.unwrapAndThrowException(RPCUtil.java:104)     
at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.allocate(ApplicationMasterProtocolPBClientImpl.java:79)

调查RM的日志发现在该时间段，出现RM与ZK无法通信的情况，导致主备RM均进入neutral state，因此AM与RM无法通信。

RM恢复后，由于长时间没有收到AM的心跳，因此将AM kill掉。

根据默认重试机制，会重启一次AM。第二次则不再重启。