连接ResourceManager 失败

最新推荐文章于 2023-05-22 14:44:28 发布

骑着蜗牛向前跑

最新推荐文章于 2023-05-22 14:44:28 发布

阅读量909

点赞数

分类专栏：大数据文章标签： hadoop 大数据 spark yarn ResourceManager

本文链接：https://blog.youkuaiyun.com/yy_diego/article/details/125894763

版权

大数据专栏收录该内容

30 篇文章

订阅专栏

在尝试使用spark-submit提交任务到YARN时，遇到了无法加载native-hadoop库的警告以及连接ResourceManager失败的问题。日志显示客户端多次尝试连接但未成功。已检查过YARN状态，确认ResourceManager正在运行，yarn.resourcemanager.address配置正确，且在hosts文件中设置了域名映射。此外，也验证了HADOOP_HOME环境变量的配置。目前怀疑可能是网络或配置问题导致的连接失败。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现象

spark-submit on yarn 时出现异常。

22/07/20 15:59:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
22/07/20 15:59:53 INFO client.RMProxy: Connecting to ResourceManager at sh01/172.16.99.215:8010
22/07/20 15:59:54 INFO ipc.Client: Retrying connect to server: sh01/172.17.99.215:8010. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
22/07/20 15:59:55 INFO ipc.Client: Retrying connect to server: sh01/172.17.99.215:8010. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
22/07/20 15:59:56 INFO ipc.Client: Retrying connect to server: sh01/172.17.99.215:8010. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

根据日志是链接 ResourceManager 时一直在尝试… 也是就说客户端连不上 yarn。

问题查找

确认平台上 yarn 是不是已经启动了，（我遇到的就是 yarn 没有启动）

jps

8144 SecondaryNameNode
9251 Master
7732 NameNode
3215205 Jps
3214887 ResourceManager #（能看到这个表示 yarn 启动了）
2748510 Master

看下 yarn-site.xml 中是否配置正确。

 <property>
   <name>yarn.resourcemanager.address</name>
   <value>sh01:8010</value>
 </property>

可能是解析不了自定与域名，在/etc/hosts 要配置域名映射。

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.17.99.215 sh01