最近由于某一个项目设计到并发的问题,程序并发量一直上不去,项目又准备要上线了,所以做了一次压力测试。发现最多200个人发起请求,但是运行到20分钟左右就会挂掉。
1.首先对tomcat进行条有,借鉴Tomcat性能调优-让小猫飞奔文章进行了优化
<Executor name="tomcatThreadPool" namePrefix="ez-catalina-exec-"
maxThreads="500" minSpareThreads="20" maxSpareThreads="50" maxIdleTime="60000"/>
<Connector executor="tomcatThreadPool"
port="8085" protocol="org.apache.coyote.http11.Http11NioProtocol"
URIEncoding="UTF-8"
connectionTimeout="30000"
enableLookups="false"
disableUploadTimeout="false"
connectionUploadTimeout="150000"
acceptCount="300"
keepAliveTimeout="120000"
maxKeepAliveRequests="1"
compression="on"
compressionMinSize="2048"
compressableMimeType="text/html,text/xml,text/javascript,text/css,text/plain,image/gif,image/jpg,image/png"
redirectPort="8443" />
JAVA_OPTS="$JAVA_OPTS -server -Xms4096M -Xmx4096M -Xss512k -XX:NewSize=2024M -XX:MaxNewSize=2024M -XX:SurvivorRatio=3 -XX:PermSize=256M -XX:MaxPermSize=256M -XX:+AggressiveOpts -XX:+UseBiasedLocking -XX:+DisableExplicitGC -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:MaxTenuringThreshold=31 -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -Djava.awt.headless=true"
2.这样以后使用jmap和jstat对jvm进行监控,发现程序所用内容并不高,但是系统cpu和内存一直上不去;
3.使用jstact对java的线程进行分析,结果
"EasyTNT-Thread-9190-" prio=10 tid=0x00007f5c240f3000 nid=0x5929 waiting for monitor entry [0x00007f5ab6134000]
java.lang.Thread.State: BLOCKED (on object monitor)
at com.google.common.eventbus.Subscriber$SynchronizedSubscriber.invokeSubscriberMethod(Subscriber.java:153)
- waiting to lock <0x0000000755340698> (a com.google.common.eventbus.Subscriber$SynchronizedSubscriber)
at com.google.common.eventbus.Subscriber$1.run(Subscriber.java:80)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
发现程序有大量的线程等待
4.通过对java线程分析,发现问题在
com.google.common.eventbus.Subscriber$SynchronizedSubscriber.invokeSubscriberMethod(Subscriber.java:153)这里
通过对代码的分析,最后发现是调用guava的eventbus有问题。
5.确定了问题就好解决了,通过阅读guava的eventbus的源码发现,它有2中模式一种为同步,一种的并发,所以在注册事件的方法上面除加@Subscribe还需要加上@AllowConcurrentEvents注解。这样系统性能一下就上去了,最后测试500+用户轻松的上去了。对于guava的eventbus,加@AllowConcurrentEvents注解和不加的区别,主要就是在多线程执行的时候是同步和并发的模式而已;不加并发,加上同步模式。