“Service 'Driver' could not bind on port”错误的解决方法

最新推荐文章于 2023-06-13 15:22:36 发布

渭水飞熊

最新推荐文章于 2023-06-13 15:22:36 发布

阅读量5.8k

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/achilles12345/article/details/77938242

版权

spark 专栏收录该内容

4 篇文章

订阅专栏

本文针对Spark在集群模式部署时遇到的问题进行了详细说明，并提供了有效的解决方案。包括如何正确配置spark-ui端口及避免误配置SPARK_LOCAL_IP。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在deploy model为“cluster”时，出现这个错误，按照网上的各种方式都是了，比如以下方式：
1、修改export SPARK_LOCAL_IP=127.0.0.1;
2、保证SPARK_LOCAL_IP为本机真实IP;
3、关闭防火墙和SELINUX
4、关闭IPV6
等等都不行，最后同事在spark-evn.sh中，通过以下设置方式问题解决了。
export SPARK_LOCAL_IP=0.0.0.0
具体原因，现在不清楚，需要再研究下，先帮各位解决下问题，如果有人知道请告诉我。

后续......

后来发现其实只需要在spark-defaults.conf文件中设置：spark.ui.port=4040就OK了，也不必要设置SPARK_LOCAL_IP=0.0.0.0.另外后来发现，在master所在的配置中不能配SPARK_LOCAL_IP，否则也会报这个错误。
另外大家要注意，报这个错误的情况有很多，因为我这个日志里提示：failed after 16 retries! Consider explicitly setting the appropriate port for the service 'Driver' (for example spark.ui.port for SparkUI) ，因此我才如此设置，也有其他原因造成这个问题，要具体问题具体分析。