spark部署报绑定端口失败问题解决

最新推荐文章于 2023-04-01 13:00:44 发布

mmyzhenyuanzi

最新推荐文章于 2023-04-01 13:00:44 发布

阅读量1.4k

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/mmyzhenyuanzi/article/details/109754024

版权

在部署Spark集群时遇到服务无法绑定到7077端口的问题，尝试检查端口占用、关闭防火墙及调整阿里云服务器安全组设置均未解决问题。最终通过将`spark-env.sh`中的`SPARK_MASTER_HOST`改为`SPARK_MASTER_IP`并配置具体IP，成功启动Spark Master。尽管`spark-env.sh.template`中未提及`SPARK_MASTER_IP`，但该设置有效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装配置spark后，启动spark集群，报错如下

16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7077. Attempting port 7078.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7078. Attempting port 7079.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7079. Attempting port 7080.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7080. Attempting port 7081.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7081. Attempting port 7082.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7082. Attempting port 7083.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7083. Attempting port 7084.
16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7084. A