记一次swoole连接数太多导致的错误

原创已于 2023-09-20 15:29:12 修改 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#swoole #后端 #php

于 2023-05-03 20:49:32 首次发布

文章描述了一个在项目上线后遇到的系统错误，即Toomanyopenfiles警告。作者通过调整系统文件句柄限制和优化TCP连接参数解决了问题，包括增加最大连接数、调整TIME_WAIT状态的TCP连接处理和设置其他sysctl参数。在后续运行中，还遇到了Time_Wait连接过多导致的问题，通过减少端口占用时间得到解决。

原先就有点担心这个项目正式上线会出现各种问题，所以刚上线就赶紧查看日志

果然，频繁出现错误：

WARNING Server::accept_connection(): accept() failed, Error: Too many open files[24]

这个错误通常是由于操作系统限制了进程能够打开的文件句柄数量，导致当前进程无法打开更多的文件，从而无法处理新的连接请求。

解决该问题的方法是增加系统限制的文件句柄数量，可以通过以下几个步骤实现：

执行命令 ulimit -n 查看当前系统限制的文件句柄数量；
编辑文件 /etc/security/limits.conf，添加以下两行内容：
```
*               soft    nofile          65535
*               hard    nofile          65535
```
这两行配置表示对所有用户增加软限制和硬限制的文件句柄数量都为 65535，也可以根据实际情况进行修改；
保存文件并执行命令 ulimit -n 65535 使设置立即生效；
重启系统，让修改的文件句柄数量限制生效

操作完以后发现还是不行，查看了下tcp的连接数量：

netstat -ant |grep ESTABLISHED |wc -l 

netstat -an | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'

发现连接数量超过1024的时候就会报上面那个错误，因此想到应该是tcp最大连接数量被限制为1024，修改tcp连接数需要以下几个步骤：

1. 编辑文件 /etc/sysctl.conf

net.ipv4.conf.all.accept_redirects=0
net.ipv4.icmp_echo_ignore_all=1
vm.overcommit_memory = 0
net.core.somaxconn = 5120
fs.inotify.max_user_instances = 10240
fs.inotify.max_user_watches = 81920000
net.ipv4.tcp_max_tw_buckets = 524288
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

2 . 执行命令：

sysctl -p 

#如果想要直接修改某个参数的代码

sysctl -w fs.inotify.max_user_instances=51200

本来以为已经解决了，到了晚上重启了下又出现了同样的问题，重复查看已确认(ESTABLISHED)的TCP连接，到了1080左右就报错，后来想到是不是方向错了，应该也查看下等待(TIME_WAIT)的TCP连接数，发现等待的连接数超过了设置的数量，看来还是要详细了解sysctl各参数的意义。

重启以后还是出现这个报错，结果还是看脸解决，继续记录下本次解决的流程：

killall php -9;
sysctl -w fs.inotify.max_user_instances=51200;
sysctl -p

执行完上面的还是没有解决，又重启了TCP服务报错了，关掉改成先启动WS服务，这时候可以了。这里面是不是有些什么关联，暂时不敢重启了，下次重启再看看是不是这个原因

目前问题已经解决，上面的sysctl就是最新的配置信息。

最后总结的问题就是物联网那边的模块60秒就会发起一个tcp连接，之前的又没有断开，所以导致tcp连接一直在累计，所以就需要设置sysctl各方面的参数了

后面又出现了这个报错，还是按照上次解决的办法来处理，应该是因为总共连接数超过上面配置的10240，改成51200就能解决。

运行了一段时间以后主要数据是没什么问题了，但是经常出现 Cannot assign requested address 的报错，导致有时候ws连接了以后，没有接收到返回的消息，发现是TIME_WAIT的连接数太多了，那解决办法就是减少端口被占用的清空，快速清理TIME_WAIT占用的端口，修改配置如下：

net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_timestamps=1
net.ipv4.tcp_tw_recycle=1

观察了几天，之前总是报错的情况目前算是得到了解决。