压力测试Exception：Too many open files.

最新推荐文章于 2024-08-29 17:55:04 发布

原创最新推荐文章于 2024-08-29 17:55:04 发布 · 212 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Linux #Ubuntu #.net #Security #应用服务器

Java编程专栏收录该内容

14 篇文章

订阅专栏

本文介绍了在进行大并发压力测试时遇到Too many open files异常的原因及解决方法。通过调整Linux和Windows系统的文件描述符限制与TCP参数，提高系统性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当进行大并发的压力测试时，经常会出现如下Exception：Too many open files.
查阅资料，google baidu.
首先感谢demo的评论，使我对这个问题有了新的认识。
经过再次查找，发现这个问题的出现原因是system对打开files数量的限制问题。
用 ulimit -a 命令可以查看当前所有资源限制
fingki@ubuntu:~$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 15863
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 15863
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
fingki@ubuntu:~$
可以看出，对open files的限制数是1024，我们可以通过修改这个值来增加可以打开的文件数。
最简单的修改方式就是用ulimit -n 命令，
比如我打算将其改为2048，用 ulimit -n 2048.
当你把open files的值增大到一定程度，你的Too many open files就不会再出现了。

而对于tcp_fin_timeout，是合tcp连接相关的，当你有大量tcp连接时，或许有些性能改善；
tcp_fin_timeout，默认情况下，win为4 min,linux为60 sec.
可以把其相应设置短一些，以增加系统性能。

in Windows

Run regedit to start the Registry Editor
Locate the following key: HKEY_LOCAL_MACHINE"System"CurrentControlSet"Services"tcpip"Parameters
Add a new value named TcpTimedWaitDelay asa decimal and set the desired timeout in seconds (30-300)
Reboot

in Linux

Update the configuration value by running (30 seconds used in the example)
```
echo 30 > /proc/sys/net/ipv4/tcp_fin_timeout
```

Restart the networking component, for example by running

/etc/init.d/networking restart  or  service network restart

在linux下，经常会有权限问题使设置不能成功，尽管你用了sudo。
解决办法就是先 su root，在root用户下来执行操作，这样就ok了。
再有就是可能忘记root密码了，那就 sudo passwd root，来设置一个新密码。

根据进一步的研究发现：服务器默认情况下对进程的处理也是有限制的，要想server处理更多用户进程就需要调整相应参数。
这里面有两个文件要特别注意，
一个是    /etc/security/limits.conf
另一个    /etc/sysctl.conf

当我们用ulimit -a命令可以查看 open files(默认为1024)和max user processes（默认也为1024），
所以默认情况下这个server只允许同时打开1024个文件，处理1024个用户进程，
若要临时改变这两个参数值，可以使用 ulimit -n 10240 ,ulimit -u 10240,
若要长久改变这两个参数值，就要修改/ect/security/limits.conf,在文件中加上两行：
* - nofile 102400
* - nproc 102400

而对于大量使用tcp连接的应用来说，也需要对/etc/sysctl.conf中的参数进行相应优化：
net/ipv4/ip_always_defrag = 1
net.ipv4.ip_local_port_range = 1024    65000
net.ipv4.tcp_max_syn_backlog = 102400
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
上面是我根据我的需求的一些参数调整，你可以根据你的需求来调整相应参数值。
然后执行 sysctl -p命令可立即生效。sysctl -a可查看参数值。

参考：http://www.iteye.com/topic/65175