新地址:https://blog.iaiot.com/pyspark-spark-shell-sparkDriver-failed.html
spark bin/pyspark 和 bin/spark-shell 报 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries (on a random free port)
pyspark -c spark.driver.bindAddress=127.0.0.1
安装:下载解压
配置:
vim /conf/spark-env.sh
export SPARK_MASTER_HOST=192.168.0.200
export SPARK_LOCAL_IP=192.168.0.200
启动:
./sbin/start-master.sh

本文详细介绍了在使用pyspark和spark-shell时遇到的'SparkDriver'服务连接失败问题的解决方案。通过调整配置文件中的SPARK_MASTER_HOST和SPARK_LOCAL_IP参数,成功解决了无法在随机空闲端口上绑定的问题。

被折叠的 条评论
为什么被折叠?



