记一次由于 TCP 连接过多引起的错误 java.net.SocketException: Too many open files

背景

最近项目开始集成测试，测试同学会不停打入数据测试稳定性
所以问题就这么出现了

现象以及分析

项目启动报错
Caused by: java.net.UnknownHostException: xxxxmysql
at java.net.InetAddress.getAllByName0(InetAddress.java:1281)
at java.net.InetAddress.getAllByName(InetAddress.java:1193)
at java.net.InetAddress.getAllByName(InetAddress.java:1127)
at com.mysql.cj.protocol.StandardSocketFactory.connect(StandardSocketFactory.java:132)
at com.mysql.cj.protocol.a.NativeSocketConnection.connect(NativeSocketConnection.java:63)
… 14 common frames omitted
Caused by: java.net.SocketException: Too many open files
at java.net.Socket.createImpl(Socket.java:478)
at java.net.Socket.getImpl(Socket.java:538)
at java.net.Socket.setTcpNoDelay(Socket.java:998)
at com.mysql.cj.protocol.StandardSocketFactory.configureSocket(StandardSocketFactory.java:94)
at com.mysql.cj.protocol.StandardSocketFactory.connect(StandardSocketFactory.java:147)
at com.mysql.cj.protocol.a.NativeSocketConnection.connect(NativeSocketConnection.java:63)

两部分报错

第一部分 说不识别配置的host 这个一直没动过，hosts文件是有配置的
第二部分 重点来了 说打开的文件过多，报的socket错误,在创建socket时报了错，看上下文异常信息，应该是mysql驱动在连接数据库的时候报错了，不能打开太多连接咯？

解决过程

首先查看 tcp 连接信息 netstat
发现了大量TIME_WAIT状态的连接 正常肯定不是这样的

有一个奇怪的应用程序 总也调用名为xxxserv的服务 而且状态都是TIME_WAIT
查看相关同事代码 发现 有用HttpClient 调用这个服务 而且.没有连接池，没有用完关闭，一次一个新连接

还有一个查询方法 netstat -ant|awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}’
LISTEN 28
CLOSE_WAIT 15
ESTABLISHED 45
TIME_WAIT 110
这里会看到 每种状态的连接数量

解决方案：
在tomcat 启动脚本tomcat/bin/catalina.sh 前添加ulimit 如下：
#!/bin/sh
ulimit -n 19660
当然相关同事代码也是需要更改的 只不过 在tomcat设置后 更加保险