Hadoop、Spark启动报错Caused by: java.net.BindException: Cannot assign requested

最新推荐文章于 2022-03-15 08:57:53 发布
原创 最新推荐文章于 2022-03-15 08:57:53 发布 · 2.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#阿里云搭建hadoop # Cannot assign requested #阿里云搭建saprk #Service ‘sparkDriver’ failed a

上一篇笔记记录阿里云上搭建hadoop集群

下一篇笔记记录阿里云上搭建spark集群

先贴一下错误:


之前在本机上搭建的时候是没问题的，今天发现在阿里云上的两个服务器之上重新走一遍流程，结果发现namenode节点就是没有启动起来，后来查看log发现之前以为是50077端口被占用了

ss -tanlp|grep 50077

结果查看端口根本就没有被占用，重新查看log发现下面的提示

Caused by: java.net.BindException: Cannot assign requested address

最后查询才发现错误在于

阿里云服务器无法绑定公网IP的地址，即在 /etc/hosts 需要这样设置

内网IP地址  你的hostname
公网IP地址  别的hostname

也就是在搭建的时候需要将你的

主节点master节点里面的ip写成内网ip

重新启动就ok


在work节点中 启动spark的时候会报错：

java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries!

解决方法就是在work节点中 /etc/hosts 也需要这样设置

内网IP地址  当前work节点的hostname
公网IP地址  主节点master的hostname

阿里云服务器搭建Hadoop报错“Incompatible clusterIDs”“Excluding datanode”“Cannot assign requested address”
qq_41634294的博客
05-31 630
阿里云服务器搭建Hadoop报错“Incompatible clusterIDs”“Excluding datanode”“Cannot assign requested address”
Hadoop分布式环境搭建遇到的问题： Problem binding to [bigdata-03.superyong.com:8031] java.net.BindException
super-yong的博客
01-18 1887
首先介绍的我的集群分布情况： bigdata-01.superyong.com      NodeManager      DataNode      NameNode（active） bigdata-02.superyong.com      NodeManager      DataNode      NameNode（standby） bigdata-03.superyong.com   ...
ava.net.BindException: Cannot assign requested address
inotgaoshou的专栏
03-11 501
今天遇到这个错误，花了两个小时，做个记号备忘下。 java.net.BindException: Cannot assign requested address       【redhat5.3 Tomcat6.0无法启动】 这个错误如果从没见过，绝对会浪费大家好多时间去查找，而且网上千篇文章都没有一个真正的解决办法！欢迎请大家转载！！ 新服务器配置tomcat...
java.net.BindException: Cannot assign requested address
weixin_33967071的博客
11-17 253
             【CentOS5.3 64位系统Tomcat6.0无法启动】 这个错误如果从没见过，绝对会浪费大家好多时间去查找，而且网上千篇文章都没有一个真正的解决办法！欢迎请大家转载！！ 新服务器配置tomcat6.0环境，配置完毕后，无法正常启动。报错如下：shutdown 端口看似被占用，但是换成其他端口还是无法启动； 2010-11-13 10:16:06 org...
tomcat启动报java.net.BindException: Cannot assign requested address
热门推荐
李刚的学习专栏
02-13 1万+
tomcat启动时报如下错： Feb 13, 2015 6:47:57 PM org.apache.catalina.ha.tcp.SimpleTcpCluster start SEVERE: Unable to start cluster. org.apache.catalina.tribes.ChannelException: java.net.BindException: Cannot a
spark java.net.BindException: Cannot assign requested address
qq_42389487的博客
03-15 797
网上找了下原因，大致上是由于客户端频繁的连服务器，由于每次连接都在很短的时间内结束，导致很多的TIME_WAIT，以至于用光了可用的端 口号，所以新的连接没办法绑定端口，即“Cannot assign requested address”。是客户端的问题不是服务器端的问题。通过netstat，的确看到很多TIME_WAIT状态的连接。 client端频繁建立连接，而端口释放较慢，导致建立新连接时无可用端口。 网上的解决方法： 1、先查看端口是否被占用。 2、执行命令修改如下2个内核参数
错误记录：yarn resourcemanager启动失败
epitomizelu的专栏
03-15 3590
使用start-yarn.sh启动yarn报如下错误： Caused by: java.net.BindException: Cannot assign requested address at sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net.bind(Net.java:433) at sun.nio.ch.Net.bind(Net.java:425) at sun.nio.ch.ServerSocketChannelImpl.bind(S
2025-06-12 07:06:17,203 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioning to standby state 2025-06-12 07:06:17,203 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioned to standby state 2025-06-12 07:06:17,206 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:443) at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1203) at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1312) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194) at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1507) Caused by: java.net.BindException: Port in use: 192.168.59.28:8099 at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1213) at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1235) at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1294) at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1149) at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:439) ... 4 more Caused by: java.net.BindException: Cannot assign requested address at sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net.bind(Net.java:433) at sun.nio.ch.Net.bind(Net.java:425) at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223) at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74) at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351) at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319) at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1200) at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1231) ... 7 more 2025-06-12 07:06:17,212 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down ResourceManager at guojingze/127.0.1.1 ************************************************************/ 876,1 Bot
06-13
我们正在解决HadoopResourceManager启动时因端口被占用导致的错误，具体错误信息为：`java.net.BindException:Portinuse:192.168.59.28:8099`和`java.net.BindException:Cannotassignrequestedaddress`根据错误日志...
启动hive失败[root@likexin bin]# ./hive --service metastore & [2] 17255 [root@likexin bin]# 2025-06-19 10:51:43: Starting Hive Metastore Server SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/module/hadoop-3.1.4/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109) at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91) at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87) at org.apache.hadoop.hive.metastore.utils.SecurityUtils.getServerSocket(SecurityUtils.java:253) at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:8968) at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:8843) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:318) at org.apache.hadoop.util.RunJar.main(RunJar.java:232) Caused by: java.net.BindException: 地址已在使用 (Bind failed) at java.net.PlainSocketImpl.socketBind(Native Method) at java.net.AbstractPlainSocketImpl.bind(AbstractPlainSocketImpl.java:387) at java.net.ServerSocket.bind(ServerSocket.java:375) at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:106) ... 11 more Exception in thread "main" org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109) at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91) at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87) at org.apache.hadoop.hive.metastore.utils.SecurityUtils.getServerSocket(SecurityUtils.java:253) at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:8968) at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:8843) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:318) at org.apache.hadoop.util.RunJar.main(RunJar.java:232) Caused by: java.net.BindException: 地址已在使用 (Bind failed) at java.net.PlainSocketImpl.socketBind(Native Method) at java.net.AbstractPlainSocketImpl.bind(AbstractPlainSocketImpl.java:387) at java.net.ServerSocket.bind(ServerSocket.java:375) at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:106) ... 11 more
最新发布
06-20
在高并发场景下，可能会出现端口用尽的问题，导致`Cannot assign requested address`异常。可以通过调整Linux系统的网络参数来减少TIME_WAIT状态的持续时间。编辑`/etc/sysctl.conf`文件，添加以下内容： ```bash ...
《Error Caused by: java.net.BindException: Cannot assign requested address: bind》
墨客联盟
06-06 2439
一、项目环境 1.MyEclipse 2017, maven项目，spring boot 二、项目日志 Caused by: org.apache.catalina.LifecycleException: Protocol handler start failed at org.apache.catalina.connector.Connector.startInternal(Co...
云主机的elasticsearch报错：Caused by: java.net.BindException: Cannot assign requested address
qq_45453185的博客
09-04 2065
一、启动elasticsearch是报错： Caused by: java.net.BindException: Cannot assign requested address 修改config里的文件elasticsearch.yml的ip地址为：0.0.0.0，然后启动： 启动成功： 二、启动elasticsearch-head-master报错： Fatal error: listen EADDRNOTAVAIL 修改elasticsearch-head-master根目录文件Gruntfile
java.net.BindException: Cannot assign requested address: bind
大小先生
09-08 7177
两种情况： 1.端口号被占用,导致地址无法绑定 --查看项目端口被占用情况 windows查看端口pid netstat -aon|findstr 8080(端口号) linux查看端口占用 netstat -anp|grep 8080 2.ip地址与本机地址不匹配,导致地址无法绑定 --查看本机地址 windows查看ip ipconfig linux查看ip ifconfig ...
Caused by: java.net.BindException: Cannot assign requested address: bind
你究竟是想一辈子卖糖水，还是希望获得改变世界的机会？
03-30 4644
照成Caused by: java.net.BindException: Cannot assign requested address: bind错误的原因是：我在写webservice的helloworld版时候，将本地测试通了。我想把ip随便改一个试试看可不可以。谁知道一改就报这个错。
Caused by: java.net.BindException: Cannot assign requested address: JVM_Bind问题
SUN先森-YM
08-21 6226
Caused by: java.net.BindException: Cannot assign requested address: JVM_Bind 更改这个问题可以从两方面着手： 一：查看ip和端口是否正确（大多数都是这个问题引起的） 二：查看端口是否被占用了
hadoop报错Cannot assign requested address
Aronlulu的专栏
03-13 550
namenode与JobTrack分开部署后，在namenode端启动hadoop时报错： Caused by: java.net.BindException: Cannot assign requested address 找了很久也没找到原因，最后发现是自己理解上的错误 分开部署后其实是两台电脑负责控制整个hadoop集群，一台负责dfs，一台负责mapreduce，所以不能简单从一台n...
nodemanager进程故障报java.net.BindException:Cannot assign requested address
zx1414iang的博客
03-06 1222
nodemanager启动日志里面打印java.net.BindException:Cannot assign requested address 怀疑是端口占用或者端口数使用上限，查询端口数使用情况和端口占用情况都不存在 ifconfig查询接口对应的ip eth0:xxxx.xxxx.xxxx.xxxx /etc/sysconfig/network-scripts/ifcfg-eth0中对应的IPADDR也是xxxx.xxxx.xxxx.xxxx 但是主机hosts文件对应的ip不是网卡配置中
tomcat启动时出现java. net. BindException: Cannot assign requested address (Bind failed)错误
qq_36651243的博客
04-19 5771
错误分析 linux下新部署的tomcat启动出现一下错误： java. net. BindException: Cannot assign requested address (Bind failed) 解决办法 打开linux 主机host配置文件 vi /etc/hosts 然后查看本机的ip地址 很明显ip不一致，因此导致启动失败 将hosts文件中的ip修改成虚拟机ip，重新启动...
hadoop java.net.BindException: Cannot assign requested address
12-29
### Hadoop 中 `java.net.BindException` 错误分析 在分布式计算环境中，Hadoop 集群可能会遇到 `java.net.BindException: Cannot assign requested address` 的错误。此问题表明尝试绑定到特定地址和端口失败。 #### 原因解析 该错误可能由多种因素引起： - **配置不匹配**：如果主机名与实际 IP 地址不符，则可能导致此类错误发生[^3]。 - **网络接口冲突**：当存在多个网络适配器时，程序可能选择了错误的网络接口来监听服务请求[^4]。 - **防火墙或安全组设置不当**：某些情况下，云平台上的虚拟机默认的安全策略会阻止应用程序访问指定端口[^2]。 #### 解决方法 针对上述原因，可以采取如下措施解决问题： 1. **验证并修正配置文件** 确保所有节点中的 `/etc/hosts` 文件正确映射了各节点名称与其内部 IP 地址之间的关系，并且这些信息需保持一致。对于 Hadoop 而言，在核心站点配置 (`core-site.xml`) 和命名空间配置 (`hdfs-site.xml`) 中定义的服务 URL 应指向有效的主机名或 IP 地址。 ```xml <configuration> <!-- core-site.xml --> <property> <name>fs.defaultFS</name> <value>hdfs://node01:9000</value> </property> <!-- hdfs-site.xml --> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> </configuration> ``` 2. **检查网络连接状态** 确认每台机器能够通过其设定的名字相互解析对方的真实 IP 地址，并能正常通信。可以通过命令行工具如 `ping`, `nslookup` 或者 `dig` 来测试连通性和 DNS 解析情况。 3. **调整防火墙规则和服务端口权限** 允许必要的入站流量到达目标端口号（例如 NameNode 默认使用的 8020, DataNodes 使用的 50010）。如果是基于云计算环境部署的话，请记得更新相应的安全组规则以开放所需端口范围内的访问权限。 4. **重启相关服务** 完成以上更改之后，建议停止整个集群再重新启动它，以便使新的参数生效。具体操作可参照官方文档指南执行相应指令集。 ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhangvalue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值