错误：启动spark后在web页面看不到worker节点的信息

最新推荐文章于 2024-04-21 09:22:36 发布

weixin_43866709

最新推荐文章于 2024-04-21 09:22:36 发布

阅读量3.8k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark启动后出错节点

本文链接：https://blog.youkuaiyun.com/weixin_43866709/article/details/88410017

spark 专栏收录该内容

47 篇文章

订阅专栏

本文分享了在高可用Spark集群中，解决Worker节点无法连接Master节点的问题过程。通过检查/etc/hosts文件，发现IP映射错误导致了连接失败。调整后，成功实现了Worker与Master的正常通信。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天安装了一个高可用的spark集群，但是启动之后，每个节点上用jps命令都可以查看到有Master和Worker进程，但是登录UI界面却没有Worker信息，查看Worker节点上的日志文件，发现竟然出错了，错误如下：
在这里插入图片描述
错误显示Worker无法连接到Master节点。

找了好长时间，终于发现了问题，出现这个错误的原因就是端口的问题。
我们知道，spark集群上Master节点和Worker节点RPC通信的端口是7077，这里无法连接到Master节点，说明是端口或者Ip的问题。我安装的集群是高可用的，设置了两个Master，所以在conf/spark-env.sh配置文件中就不能指定Master节点的Ip了，所以这里肯定是IP和主机的映射关系错了。
下面是我Master节点中/etc/hosts文件的内容：
在这里插入图片描述
下面是我Worker节点/etc/hosts文件的内容：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.67.136  L3

这样一来，当我启动spark集群时，Master节点启动用的地址是192.168.67.134:7077，
由于Worker节点没有添加映射关系，他会以为Master节点用的地址是127.0.0.1：7077，所以会出现连接不上的问题。

找到了问题所在，我把Worker节点上的/etc/hosts文件的内容也改成了：
在这里插入图片描述
然后再启动spark集群，打开UI界面后发现Worker节点出现了。