博客分析了Spark远程调试遇到的'Failed to connect to master'问题的原因，指出因Master绑定IP为127.0.0.1导致。解决方法包括检查服务器端口绑定，修改启动脚本中SPARK_MASTER_HOST环境变量，更新/etc/hosts配置，确保使用局域网IP。重启Spark后，问题得到解决，使得本地IDE如Eclipse或IntelliJ IDEA能成功进行远程调试。
一、分析原因：查看服务器的远程端口绑定ip
这边显示绑定的是127.0.0.1：7077表示只能本地访问
正确的访问方式为：局域网Ip:7077
二、查看启动脚本设置：
分析脚本可以看到这边启动master和slaves分别是两个脚本，由于我们是通过start-master.sh去运行的，我们查看start-master.sh
通过start-master可以发现，这边启动的ip是根据SPARK_MASTER_HOST的环境变量获取，如果不存在，则通过hostname -f去获取
我们键入hostname -f
1549
3861
4482
5676
8110
1129
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
