解决spark on yarn模式时,在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面

本文介绍了如何在Hadoop YARN集群中配置yarn.web-proxy.address以实现应用执行详情跳转,并详细说明了启动web-proxy服务的方法。通过在指定master节点设置配置并重启nodemanager和resourcemanager,确保资源管理器的独立Web服务功能正常运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置

  <property>
    <name>yarn.web-proxy.address</name>
    <value>master01:8089</value>
  </property>

在指定的master01节点启动web-proxy服务:./sbin/yarn-daemon.sh start proxyserver 

2.重启所有节点的的nodemanger、resourcemanager服务即可解决

原因:

在yarn的RM中,包括web-proxy工程,它可以启动一个单独的进程,对外提供web服务,从resourcemanager上点击正在执行的app,会跳转到yarn.web-proxy.address,这里展示正在执行的job信息,job执行结束后,会跳转到historyserver上;如果没有配置yarn.web-proxy.address,则这个功能会集成到RM中。

需要配置yarn.web-proxy.address

启动方式为./sbin/yarn-daemon.sh start proxyserver

参考资料:

https://blog.youkuaiyun.com/knowledgeaaa/article/details/53147010

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值