关于Cannot assign requested address 错误
1 错误出现的原因
今天的生产环境上的应用出现了一个报错,应用连接不上kafka,经过排查发现,kafka服务端正常的,在客户端主机上telnet一下kafka的ip端口,发现出现Cannot assign requested address这个一个报错。
在网上找了一些资料,说这个错误的原因是由于linux分配的客户端连接端口用尽,无法建立socket连接所致,虽然socket正常关闭,但是端口不是立即释放,而是处于TIME_WAIT状态,默认等待60s后才释放。
2 解决方法
网上的教程上,有以下方法:
1)、调低time_wait状态端口等待时间
①. 调低端口释放后的等待时间,默认为60s,修改为15~30s
sysctl -w net.ipv4.tcp_fin_timeout=30
②. 修改tcp/ip协议配置, 通过配置/proc/sys/net/ipv4/tcp_tw_resue, 默认为0,修改为1,释放TIME_WAIT端口给新连接使用
sysctl -w net.ipv4.tcp_timestamps=1
③. 修改tcp/ip协议配置,快速回收socket资源,默认为0,修改为1
sysctl -w net.ipv4.tcp_tw_recycle=1
2)、增加可用端口:
①、 sysctl -a |grep port_range
net.ipv4.ip_local_port_range = 50000 65000 -----意味着50000~65000端口可用
②、vi /etc/sysctl.conf
net.ipv4.ip_local_port_range = 10000 65000 -----意味着10000~65000端口可用
注:改完后,执行命令“sysctl -p”使参数生效,不需要reboot。
注:这两个方法并没有去尝试,因为需要root权限。所以寻求其他方式解决
3 其他方式解决
1、既然服务端的kafka是没问题的,那么问题肯定是出现在客户端的主机上,所以尝试查询主机的用户连接数限制,以及当前用户连接数,使用了以下一些命令进行了查询。
netstat -na|wc -l //Linux连接数
ulimit -u //查看Linux文件打开数限制
lsof -p 进程号 | wc -l //查看进程文件打开数
ps aux | sort -k3nr |head -n 10 //查看进程CPU占用率前10名
2、发现主机上某个应用程序运行占用了大量的连接数,随后,将这个程序kill掉之后,发现kafka可以telnet的通了,应用也恢复了,最后将kill掉的程序重新启动起来,发现无异常,问题解决。