早上到公司刚坐下就听运维同事讲服务器计费出问题了,打开tomcat日志一看报Too many open files ,Linux系统默认打开文件数是1024,而实际的生产环境中,这个值总是显得太小,尤其是对于一些并发较大的系统,而太小的后果就是你的系统会报:too many open files 等这样的错误导致你系统。使用ulimit -u 查看open files设置,发现之前同事已经改到足够大(正常运行一直未出现改错误)。那么唯一的可能就是并发变得更加大,通过监控发现正常请求其实和平时差不多,反而多了一些重复请求(系统请求失败会默认重复请求三次),那么是神马原因会重复请求呢,查了一下,在流程里面有HTTP POST外部请求,于是询问对方服务器的确有问题,导致这个地方同步等待而堆积大量请求无法处理,从而导致Too many open files.这里的确是系统设计上的缺陷,因为第一个版本比较粗糙,在下一版本需要将这类问题考虑进去,否则导致服务器无法正常服务影响收入。
ulimit -u 查看open files设置
ulimit -a 查看所有设置
ulimit -u 65535(新的open files
值)修改设置
ulimit -n? 65536 设置用户可以同时打开的最大文件数(max
open files)
lsof -p pid [httpd进程的 pid、java的pid]来查看系统中apache进程和java运行时进程当前打开的文件资源