nodemanager启动：Failed to initialize spark2_shuffle...java.net.BindException: Address already in use

最新推荐文章于 2025-06-16 14:58:51 发布
最新推荐文章于 2025-06-16 14:58:51 发布
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZhouyuanLinli/article/details/79862217
本文记录了一次解决Spark端口占用问题的经历。通过检查默认端口7337是否被占用，查找YARN和Spark配置文件中相关端口设置，并通过列出所有端口进行逐一排查，最终采用重启的方法解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


提示端口被占用，但日志没找到具体端口，默认spark.shuffle.service.port是7337，日志有打印但发现未被占用

然后找了下yarn和spark配置文件相关的端口，还列出所有端口，一个个根据端口找到应用排查，折腾了半个多小时，最终还是采用重启大法搞定

Hadoop 2.x 安装常见问题FAQ（一） NodeManager 无法启动问题解决
whbsr516的专栏
07-31 1250
问题描述
Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Sp
qq_43416132的博客
06-28 3090
无
startNodeManager端口被占用：java.net.BindException: Address already in use
cuixie2370的博客
09-06 399
-bash-3.2$ ./startNodeManager.sh >NodeManager1.log & Nov 21, 2012 3:38:41 PM weblogic.nod...
Jmeter 自动化性能测试常见问题汇总
最新发布
chengxuyuznguoke的博客
06-16 651
​ timeout 超时时间是可以手动设置的，新建一个 http 请求，在“高级”设置中找到“超时”设置，设置连接、响应时间为2000ms。 ​
Zookeeper启动失败：java.net.BindException: Address already in use
努力的凹凸曼的博客
05-14 3619
错误日志如下：[hadoop@master zookeeper-3.4.5-cdh5.10.0]$ cat zookeeper.out 2018-05-15 01:29:21,036 [myid:] - INFO [main:QuorumPeerConfig@101] - Reading configuration from: /opt/modules/zookeeper-3.4.5-cdh5...
spark 端口全被占用无法启动jobBindException: Address already in use
P01114245的博客
07-15 1316
假设1：我通过客户端连接过HiveServer2，但查询慢的时候我就直接关闭客户端，但是HiveServer2和datanode就没有关闭连接，但我可能一年就查几次，不会导致这么多连接没关闭吧，这个假设可能性太小。先kill 掉 HiveServer2这个进程，发现ss -s命令下端口占用减少，netstat命令 都快了 好多。假设2：application 程序 有隐形的代码自动连接HiveServer2没有关闭连接，这个可能性也不大，我关闭HiveServer2后我的应用还是照常跑。
service network restart重启失败_NodeManager 启动失败问题处理
weixin_39737492的博客
11-24 339
欢迎关注公众号NodeManager 启动失败一例：报错如下：20/09/16 15:47:20 ERROR nodemanager.NodeManager: Error starting NodeManagerjava.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException:...
[hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
01-20
2. 接下来，我们需要编辑两个与HDFS启动和停止相关的脚本：`start-dfs.sh` 和 `stop-dfs.sh`。在这两个脚本中，添加以下环境变量设置： ``` #!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER...
2025-03-30 22:26:59,385 INFO impl.MetricsSystemImpl: Stopping NodeManager metrics system...2025-03-30 22:26:59,387 INFO impl.MetricsSystemImpl: NodeManager metrics system stopped. 2025-03-30 22:26:59,387 INFO impl.MetricsSystemImpl: NodeManager metrics system shutdown complete.2025-03-30 22:26:59,388 ERROR nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [0.0.0.0:8040]java.net.BindException: Address already in use: bind; For more details see: http://wiki.apache.o rg/hadoop/BindException at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:138) at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65) at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54) at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService.createServer(ResourceLocalizationService.java:409) at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService.serviceStart(ResourceLocalizationService.java:385) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194) at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121) at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceStart(ContainerManagerImpl.java:668) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194) at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:978) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:1057) Caused by: java.net.BindException: Problem binding to [0.0.0.0:8040] java.net.BindException: Address already in use: bind; For more details see:http://wiki.apache.org/hadoop/BindException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:836) at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:741)
03-31
java.net.BindException: Problem binding to [0.0.0.0:8040] Address already in use ``` ### **分步诊断与解决** #### 1. 端口冲突确认 - **端口作用**：NodeManager通过`8040`端口提供资源本地化服务...
Hadoop分布式环境搭建遇到的问题： Problem binding to [bigdata-03.superyong.com:8031] java.net.BindException
super-yong的博客
01-18 1871
首先介绍的我的集群分布情况： bigdata-01.superyong.com      NodeManager      DataNode      NameNode（active） bigdata-02.superyong.com      NodeManager      DataNode      NameNode（standby） bigdata-03.superyong.com   ...
spark启动master时提示端口8080被占用SelectChannelConnector@0.0.0.0:8080: java.net.BindException
热门推荐
sunflower_cao的专栏
07-10 3万+
在root权限下通过命令netstat  -apn | grep 8080
Cloudera 版spark 解决spark_shuffle aux-service 缺失的问题
jxhaha的博客
04-12 2520
CDHwebUi-> YARN (MR2 Included) -> Configuration -> NodeManager Default Group -> Advanced 在 “NodeManager Advanced Configuration Snippet (Safety Valve) for yarn-site.xml” 弹出框中粘贴如下： yarn.nodemanager
Spark Shuffle FetchFailedException解决方案
qq_14950717的博客
12-13 1431
在大规模数据处理中，这是个比较常见的错误。当有大量的shuffle的时候，可能是因为网络传输或者磁盘IO引起的这个错误。 往往伴随的还有某个节点heart-timeout或者exectuor丢失. 报错提示 SparkSQL shuffle操作带 `org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output
Spark：java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!
weixin_30781107的博客
11-07 563
Spark多任务提交运行时候报错。 java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries! at sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net.bind(Net.java:444) at sun.ni...
spark的work进程起不来，查看日志发现7337端口被占用
jietoushi的专栏
05-05 1066
查看7337端口被nodemanager占用，需要手动修改spark的work端口 vim spark-default.conf spark.shuffle.service.port=7300
CDH环境中NodeManager无法启动，ResourceManager无法启动
weixin_42578941的博客
05-05 5962
CDH环境中NodeManager无法启动，ResourceManager无法启动
yarn capacity scheduler调度器实践
yyoc97的专栏
04-01 493
文章目录简述配置测试异常结尾 简述 能力调度器在生产实践中是用的较多的一种模式，今天单机来实践一下。hadoop版本我这里选用了3.1.2，spark是用的2.4.3 配置 yarn-site.xml 这里主要配置yarn.resourcemanager.scheduler.class属性就好。 <configuration> <property> ...
Spark启动报错
zhikanjiani的博客
07-30 4568
1、spark-shell --master local[2]启动出现如下报错： [hadoop@hadoop002 spark-2.4.2-bin-2.6.0-cdh5.7.0]$ spark-shell --master local[2] 19/07/23 00:52:14 WARN util.NativeCodeLoader: Unable to load native-hadoop lib...
ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices: Failed to initialize spark_shuffle java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2726) at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.createAuxServiceFromConfiguration(AuxServices.java:204)
07-12
您可以检查 `yarn.nodemanager.aux-services` 和 `yarn.nodemanager.aux-services.spark_shuffle.class` 这两个属性的设置。 4. 如果您使用的是自定义的 Spark Shuffle 服务实现，确保相关的 JAR 文件已正确放置在 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值