tomcat 宕机问题分析及解决

服务器环境：centos6.7 + tomcat7.0.69 + jdk1.7.0_55 + mysql5.6.28

场景：服务刚开始用户体验变差，请求时间长，之后出现404，500等与服务器交互失败问题。重启后用户体验回升，半小时内问题没有再现。

日志中出现的问题有两个：

                  1、Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.tomcat.dbcp.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object

                   2、Mar 06, 2017 10:59:53 AM org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
                                   SEVERE: Socket accept failed
                               java.net.SocketException: Too many open files

解决方案：

                   1、更改centos的单个文件最大句柄数为最大的65535，tomcat宕机的直接原因是 第二个问题 Too many open files

                   2、更改线程池的配置增加如下参数：

1. maxWait="3000" 从池中取连接的最大等待时间，单位ms.  
2. initialSize="10"  初始化连接  
3. minIdle="10"   最小空闲连接 
   
4. maxIdle="150"   最大空闲连接 
   
5. maxActive="200" 最大活动连接  
6.    
7. validationQuery = "SELECT 1"  验证使用的SQL语句  
8. testWhileIdle = "true"      指明连接是否被空闲连接回收器(如果有)进行检验.如果检测失败,则连接将被从池中去除.  
9. testOnBorrow = "false"   借出连接时不要测试，否则很影响性能  
10. timeBetweenEvictionRunsMillis = "30000"  每30秒运行一次空闲连接回收器  
11. minEvictableIdleTimeMillis = "1800000"  池中的连接空闲30分钟后被回收  
12. numTestsPerEvictionRun="10" 在每次空闲连接回收器线程(如果有)运行时检查的连接数量  
13.       
14. removeAbandoned="true"  连接泄漏回收参数，当可用连接数少于3个时才执行  
15. removeAbandonedTimeout="180"  连接泄漏回收参数，180秒，泄露的连接可以被删除的超时值  

问题原因：

                    1、网络延迟增加；

                    2、tomcat的dbcp线程池设置偏小，当请求突发的时候出现线程池报错；

                    3、同时，由于对服务的请求及服务向数据库发起的服务的增加，在突发情况中击穿数据库限制超出最大句柄数

                    4、导致进程挂死。

原因分析过程：

            一、分析服务的系统日志，获取报错种类及第一次发生的时间节点

            二、分析服务的系统日志，查获所有数据库访问请求的执行时间点，服务的请求时间；

            三、统计每一秒内的数据库请求总数量，各个请求的总数量，各个请求失败总数量

            四、分析数据库日志，获取处理时间长及失败的SQL语句的执行时间及处理时长

            五、对比三和四步骤的结果初略的判断是否存在网络问题

其中频繁使用的小技巧：

             1、notepad++的正则查找：

                          a、搜索的设置如下图：

                                            

                          b、使用正则查找行中有10.6.6.5或Query_time或order by c.isTop DESC 三个字段的行

                                          ^.*10\.6\.6\.5.*$|^.*Query\_time.*$|^.*order by  c\.isTop DESC\, c\.id asc.*$

               2、excel中的vlookup公式，筛选、分列、多列排序、分类汇总、Ctrl+G>定点条件>可见单元格、插入图表