Spark只启动了Master，Worker没启动的

最新推荐文章于 2024-04-24 22:56:58 发布
最新推荐文章于 2024-04-24 22:56:58 发布
阅读量761 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：https://my.oschina.net/u/2329800/blog/1826179
本文记录了一次 Spark Worker 服务启动时遇到的问题及解决方案。主要问题是服务无法绑定到指定端口，通过设置 SPARK_LOCAL_IP 解决了该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

  1. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  2. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  3. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  4. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  5. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  6. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  7. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  8. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  9. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  10. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  11. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  12. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  13. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  14. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  15. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  16. 17/01/16 16:12:23 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.  
  17. Exception in thread "main" java.net.BindException: 无法指定被请求的地址: Service 'sparkWorker' failed after 16 retries! Consider explicitly setting the appropriate port for the service 'sparkWorker' (for example spark.ui.port for SparkUI) to an available port or increasing spark.port.maxRetries.  
  18.         at sun.nio.ch.Net.bind0(Native Method)  
  19.         at sun.nio.ch.Net.bind(Net.java:433)  
  20.         at sun.nio.ch.Net.bind(Net.java:425)  
  21.         at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)  

 

 

 

spark的配置文件spark-env.sh如下

 

[html] view plain copy

  1. export JAVA_HOME=/usr/jdk1.8  
  2. export SCALA_HOME=/usr/hadoop/scala-2.11.4  
  3. export HADOOP_HOME=/usr/hadoop/hadoop2.7.3  
  4. export HADOOP_CONF_DIR=/usr/hadoop/hadoop2.7.3/etc/hadoop  
  5. export SPARK_MASTER_IP=192.168.9.200  
  6. export SPARK_WORKER_MEMORY=1g  
  7. export SPARK_WORKER_CORES=1  
  8. export SPARK_HOME=/usr/hadoop/spark-2.0.2  

在后面加上SPARK_LOCAL_IP之后三个Worker正常启动

 

[html] view plain copy

添加：

  1. export SPARK_LOCAL_IP=127.0.0.1  

 

 

转载于:https://my.oschina.net/u/2329800/blog/1826179

spark master无法正常启动，worker正常启动
DayOneMore的博客
02-17 1758
背景 试用jps查看是否正常启动 问题描述： dl8作为master时，可以正常启动master和worker，而dl23作为master时，无法启动master，但可以正常启动worker starting org.apache.spark.deploy.master.Master, logging to /home/x x x/spark/spark-2.4.7-bin-hadoop2.6/logs/spark-xxx-org.apache.spark.deploy.master.Master-1-ss
IDEA本地启动Spark的Master和Worker
L, there!
07-27 1089
在Windows环境IDEA上解读Spark源码的时候，为了查看参数传递，总是连接服务器很麻烦。简单实现从本地启动Spark的Master和Worker，方便源码解读。 1. 添加Maven依赖 在spark-parent的pom.xml中添加guava依赖 <!-- https://mvnrepository.com/artifact/com.google.guava/guav...
Spark 启动集群 Master 正常启动 Worker 不启动
https://github.com/ZichengCao
08-08 1万+
在学习spark过程中遇到的问题，做下记录，这个问题网上出现的不再少数，出现问题的原因也是各不相同，并且没有一个人的问题和我完全一样（我高兴得都快哭了），顺着大家的思路，尝试了两个多小时才搞明白。 问题的根源大多都在于 hostname 的配置与映射 环境前置说明（三台虚拟机模拟）： 系统：CentOS Linux release 7.5.1804 (Core) host hadoop102 192.168.20.102 Master Worker hadoop103 192.168.20.103 Wo
启动spark，master正常启动，worker无法启动
qq_42444621的博客
08-21 3983
查看worker节点上日志信息， 如果报下述错误： Service 'sparkWorker' could not bind on a random free port. You may check whether configuring an appropriate binding address. 解决的方法： 在spark-env.sh中加入一条  SPARK_LOCAL_IP=12...
spark集群启动后，子机器上有worker进程，但在master机器上打开webui，worker却只有master是为什么？
花言简
11-17 2843
个人在学习时，电脑突然更新了，导致虚拟机关闭，伪集群挂起。重新打开时，发现spark集群启动后，worker进程启动，但并没有在master上注册。百度了下，发现防火墙打开了。。。 转自https://segmentfault.com/q/1010000010586142 关闭防火墙后master和worker之间能正常通信了。 $ service iptables status ##查看防...
Spark集群启动时worker节点启不起来
Eyeshot的博客
06-07 4608
在spark集群中使用命令： sbin/start-all.sh 启动集群时报错： starting org.apache.spark.deploy.master.Master, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.master.Master-1-linux.out yxk@l...
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
./spark-shell --master spark://node001:7077 --driver-memory 512M ``` 3. **验证配置**： - 重新启动Spark Shell后，确保错误不再出现。如果仍然出现问题，可能需要检查其他相关配置，如JVM堆大小、操作系统...
Spark的Master、Worker、Dirver和Executor，对比Flink的Jobmanager、Taskmanager、Slot异同
最新发布
大模型大数据攻城狮的专栏
04-24 474
而Flink中的Slot是Taskmanager的资源单元，可以理解为一台计算机的一个CPU核心。它就像一个公司的CEO，负责制定战略和协调各个部门的工作。而Flink中的Jobmanager也负责任务的调度和资源管理，但它更像是一个项目经理，负责具体项目的执行和监控。Spark中的Worker负责执行具体的任务，就像公司的员工，按照CEO的指示完成各自的工作。而Flink中的Taskmanager也负责执行任务，但它更像是一个团队，成员之间可以共享资源，协同完成任务。
[spark] Standalone模式下Master、WorKer启动流程
UFO的博客
10-31 1351
Spark作为分布式的计算框架可支持多种运行模式： 本地运行模式 （单机） 本地伪集群运行模式（单机模拟集群） Standalone Client模式（集群） Standalone Cluster模式（集群） YARN Client模式（集群） YARN Cluster模式（集群） 而Standalone 作为spark自带cluster manager，需要启
Spark启动后WebUI看不到Workers
hzp666的博客
12-14 1786
Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。 搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法 1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值 参考：https://blog.youkuaiyun.com/qq1187239259/article/details/79489800?utm_source=blogxgwz2 2
启动Spark集群web界面无work信息
AsUs.的博客
04-24 810
MasterArguments:66 - SPARK MASTER IP is deprecated, please use SPARK MASTER HOST
SPARK搭建中WORKER起不来的恢复方法
艾@七的专栏
06-12 5878
我用的CENTER OS  V6.2 在编译部署完SPARK 1.1.0和1.2.0后，发现WORKER总是起不来的问题，解决方法分享给大家，希望能有所参考。 错误信息： SPARK 1.1.0 vm1: failed to launch org.apache.spark.deploy.worker.Worker: vm1:      at java.lang.Class.initial
SPARK Standalone集群中单个Worker无法启动解决
weixin_42759977的博客
01-03 1659
按教程搭建Standalone集群完成后，三个Worker节点有一个一直无法连接，监控界面也只显示有2个Worker，捣鼓很久最后发现是hosts中最后机器的IP不知道为什么自己变了，改正确就好了 sudo vim /etc/hosts 修改回正确IP保持退出 重新启动集群就可正常启动了 很初级的错误，不过当时查了很久也没有找到同类问题，意外发现是IP错误，发上来提供一个纠错思路 ...
Spark报错Service ‘sparkWorker‘ failed after 16 retries (starting from 0)记录
Hadoop集群搭建详细教程
11-12 1980
目录问题描述查找网络中修改案例 问题描述 下方是我找问题的思路，如果您赶时间，请直接翻到文章最末查看即可。 启动Spark时，只有Master启动成功，其他两台Worker未启动成功 查看master主机启动日志，没有问题，查看slave1和slave2的spark启动日志，发现如下： Spark Command: /usr/apps/jdk1.8.0/bin/java -cp /usr/apps/spark-2.1.1/conf/:/usr/apps/spark-2.1.1/jars/*:/usr/a
Spark启动报错
sgsdsdd的博客
03-26 2014
localhost: full log in /root/install/spark-2.4.5-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-hadoop5.out 原因：打开此文件后，发现java.net.BindException: 无法指定被请求的地址: Service ‘sparkWorker’ failed after 16 retries (on a random free port)! 解决方法：v
黑猴子的家：Spark 初次启动 WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1....
黑猴子的博客
10-23 689
1、log日志 [ndadmin@bignode2 logs]$ tail -n 300 \ spark-ndadmin-org.apache.spark.deploy.worker.Worker-1-bignode2.out.1 18/10/23 15:47:44 WARN Utils: Service 'sparkWorker' could not bind on port 0. Att...
spark启动slave节点失败，显示Consider explicitly setting the appropriate port for the service 'sparkWorker'
weixin_40532625的博客
05-05 1197
spark启动slave节点出错，日志文件 Unable to load native-hadoop library for your platform... using builtin-java classes where applicable https://www.cnblogs.com/tijun/p/7562282.html Consider explicitly setting ...
spark集群启动后WorkerUI界面看不到Workers解决
热门推荐
tlimited的博客
06-22 1万+
最近在搭spark集群的时候，成功启动集群，但是访问master的WorkerUI界面却看不到子节点，也就是worker id那里为空的，如图： 解决这个问题，关键是改spark的conf下面的spark-env.sh文件： 注意点就是，下面的masterid必须是ip，之前填master，能启动，但是界面看不到worker。 master配置： export JAVA_HOME=/o...
spark的master和worker通信
03-16
Spark的master和worker之间通过RPC（远程过程调用）进行通信。当worker启动时，它会向master注册自己的信息，包括主机名、端口号、可用的CPU和内存等资源信息。Master会将这些信息存储在内存中，并根据需要将任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值