关于storm的topology启动时间过长(端口占用)如何解决

针对Storm集群中因端口冲突导致的任务启动缓慢问题,本文详细分析了问题原因,并提供了具体的解决办法,包括调整系统随机端口范围以避免端口被长期运行的进程占用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

storm版本是0.9.4 ,当storm集群上任务比较多的时候,启动一个topology,要过5-10分钟或者更久才能启动起来。
worker log报错如下:

2016-03-21T09:58:31.217+0800 b.s.m.n.Client [ERROR] connection attempt 4 to Netty-Client-sslave6 failed: java.lang.RuntimeException: Returned channel was actually not established

netty连接无法建立。原来是该topology的某些worker没有启动的起来,用 lsof -i 查看那个没有启动的worker端口,发现是被其他已经存在的Topology进程占用,问下大家有没有出现过这种情况,如何解决?

查看一下你的你的系统随机端口的范围: cat /proc/sys/net/ipv4/ip_local_port_range

如果该范围是1024 到65536, 修改为10000 到 65536, 10000以下的端口容易被长进程占用,比如被storm的worker本身占用了6700,6701等端口。

转载于:https://my.oschina.net/u/2000675/blog/843700

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值