线上运行一年的代码竟然查出问题了？

由于轮训服务改造的原因，线上运行了一年的代码竟然出问题了，话不多说，直接抛问题！！！

问题介绍

我们的项目是一个任务调度的平台，每天都有大量的任务需要发送到大数据集群进行处理，在发送前，需要判断是否达到跑批要求。每天晚上11点会生成第二天的周期实例，周期实例有个跑批调度时间，到达该时间，调轮训服务获取任务依赖表是否到达。

任务提交轮训逻辑

另外还有一个重要的前提，任务是一轮一轮调轮训服务的（第一次将周期实例放入set集合，依次提交到线程池，第二次将未达到条件的周期实例放入set集合，提交到线程池，按照这样的方式，以此类推）。

问题出现的现象

之前服务正常的时候日志里面一直打印轮训日志，现在不定时的出现卡死显现，不打印日志，现象出现则一直卡下去，重启之后服务正常，但一段时间后，又会出现卡死的现象。

监控服务

我用jdk1.8自带的监控工具jvisualvm（服务端需要配置jmx,需要的同学可以网上自行百度进行配置）监控线程池的状态，一段时间后发现，如图：

排查问题的过程如下

1. 在明确了代码中没有调用Object.wait()和Thread.join()后，那基本就确定了是调用了java.util.concurrent包下面的工具类导致的线程阻塞，因为java.util.concurrent包下的工具类频繁使用了LockSupport.park()

2. 接着就可以确定是使用CountDownLatch造成的问题了，其他的线程已经结束了，只有一个线程在运行，此时其他线程就阻塞等待

3. 那这个RUNNABLE的线程做啥了，为啥一直没有结束？这个线程阻塞在网络读取上了。

4. 既然卡在网络读取上，肯定就是没有设置连接的超时时间，或者读取的超时时间。一看，果然和我想的一样，没有设置

发现

我发现线程池中的线程24个处于waiting，有1个一直处于runnable状态，然后再仔细看这个线程的堆栈信息，它卡在了socketRead()这里，然后我查看相关代码，这部分正是通过socket调用轮训服务的代码，为什么会一直卡在这里呢，看了一下具体代码发现：

Socket socket = new Socket(IP,PORT);
OutputStream outputStream = socket.getOutputStream();

没有设置超时时间，导致read操作造成程序永久挂起

改进&&测试

Socket socket = new Socket();
//客户端与服务端连接的超时时间
socket.conect(new InetSocketAddress(IP,PORT),2000);
//inputStream.read()的阻塞时间
socket.setSoTimeout(100000);

 

根据日志可以看出，设置超时时间成功，导致这样的问题还是因为服务端的并发太大了，目测服务端用的是BIO，一个请求创建一个线程，本身就支持不了高并发。目前只能这样处理了，轮训服务不是我们的服务，我只能建议他们用netty了！！！

总结

运行了一年的代码居然出问题了，所以不能盲目相信线上代码的正确性，遇到问题，要正向的去解决问题，切勿瞎猜！！！