一次排查线上线程池数量过高的报警经历

最新推荐文章于 2024-06-29 07:42:08 发布
原创 最新推荐文章于 2024-06-29 07:42:08 发布 · 3.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tomcat调优 #线上问题 #线程池 #线程池数量报警

本文记录了一次线上线程池数量过高引发的报警经历。通过jstack分析，发现大量http-nio线程在等待，由于商家活动导致优惠券接口调用量激增，使得线程池达到1000以上，远超正常水平。解决方案包括tomcat线程池调优以应对高流量，并考虑机器扩容。临时措施是将问题机器从nginx负载均衡中移除，线程数随即恢复正常。

 

线上问题图

线上jstack查看正常机器和问题机器对比堆栈信息，发现大量的http-nio-1601-exec-线程在等待，查看线上监控发现优惠券接口调用量飙升，中午商家做活动抢券，根据线程名字可以看出是tomcat的线程池被打满了，线上监控显示线程数超过1000，比正常机器线程数超出500左右，对比上图基本确定原因。

进一步需要做tomcat线程池调优，应对每周一的高流量请求，甚至需要机器扩容，当机器挂在nginx上时，源源不断的请求进入，导致线程数持续不下降。（查看了下线上的tomcat配置，最大线程数好像是1000）

暂时解决方案：暂时将问题机器从nginx摘下后，问题机器线程数很快下降至正常值

2020-01-06 14:14:54
Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.20-b23 mixed mode):

"Attach Listener" #36860 daemon prio=9 os_prio=0 tid=0x00007fb39c002000 nid=0x43bc7 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"ForkJoinPool.commonPool-worker-21" #36809 daemon prio=5 os_prio=0 tid=0x00007fb004f4e000 nid=0x40eb4 waiting on condition [0x00007fafee581000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"ForkJoinPool.commonPool-worker-19" #36700 daemon prio=5 os_prio=0 tid=0x00007fb004635800 nid=0x3b0c8 waiting on condition [0x00007faffbd92000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"ForkJoinPool.commonPool-worker-6" #36697 daemon prio=5 os_prio=0 tid=0x00007fb006892000 nid=0x3b002 waiting on condition [0x00007fafc2eef000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"ForkJoinPool.commonPool-worker-28" #36698 daemon prio=5 os_prio=0 tid=0x00007fb006890800 nid=0x3b001 waiting on condition [0x00007fafc2ff0000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"http-nio-1601-exec-570" #36696 daemon prio=5 os_prio=0 tid=0x00007fb00688c000 nid=0x3affa waiting on condition [0x00007fafc30f1000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-569" #36695 daemon prio=5 os_prio=0 tid=0x00007fb006888000 nid=0x3aff9 waiting on condition [0x00007fafc31f2000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-568" #36694 daemon prio=5 os_prio=0 tid=0x00007fb006883800 nid=0x3aff8 waiting on condition [0x00007fafc32f3000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

	at java.lang.Thread.run(Thread.java:745)



"http-nio-1601-exec-484" #36578 daemon prio=5 os_prio=0 tid=0x00007fb00649e800 nid=0x3aec3 waiting on condition [0x00007fafd13d3000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-483" #36577 daemon prio=5 os_prio=0 tid=0x00007fb00462d800 nid=0x3aec2 waiting on condition [0x00007fafff6c3000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-482" #36576 daemon prio=5 os_prio=0 tid=0x00007fb005a75000 nid=0x3aec1 waiting on condition [0x00007fb2fa0eb000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"ForkJoinPool.commonPool-worker-31" #36569 daemon prio=5 os_prio=0 tid=0x00007fb0056cf800 nid=0x3ac19 waiting on condition [0x00007faff06f0000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"ForkJoinPool.commonPool-worker-17" #36570 daemon prio=5 os_prio=0 tid=0x00007fb004911800 nid=0x3ac18 waiting on condition [0x00007fafe9349000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"ForkJoinPool.commonPool-worker-18" #36568 daemon prio=5 os_prio=0 tid=0x00007fb0066dd800 nid=0x3aba6 waiting on condition [0x00007fafca464000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"ForkJoinPool.commonPool-worker-25" #36567 daemon prio=5 os_prio=0 tid=0x00007fb0066db800 nid=0x3aba5 waiting on condition [0x00007fafca565000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x000000074423ef68> (a java.util.concurrent.ForkJoinPool)
	at java.util.concurrent.ForkJoinPool.awaitWork(ForkJoinPool.java:1756)
	at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1696)
	at java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1644)
	at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:157)

"http-nio-1601-exec-481" #36566 daemon prio=5 os_prio=0 tid=0x00007fb0066d7800 nid=0x3aba4 waiting on condition [0x00007fafca666000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-480" #36565 daemon prio=5 os_prio=0 tid=0x00007fb0066d3000 nid=0x3aba3 waiting on condition [0x00007fafca767000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-479" #36564 daemon prio=5 os_prio=0 tid=0x00007fb0066cf000 nid=0x3aba2 waiting on condition [0x00007fafca868000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-478" #36563 daemon prio=5 os_prio=0 tid=0x00007fb0066ca800 nid=0x3aba1 waiting on condition [0x00007fafca969000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-477" #36562 daemon prio=5 os_prio=0 tid=0x00007fb0066c6800 nid=0x3aba0 waiting on condition [0x00007fafcaa6a000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-476" #36561 daemon prio=5 os_prio=0 tid=0x00007fb0066c2800 nid=0x3ab9f waiting on condition [0x00007fafcab6b000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-475" #36560 daemon prio=5 os_prio=0 tid=0x00007fb0066be000 nid=0x3ab9e waiting on condition [0x00007fafcac6c000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-473" #36558 daemon prio=5 os_prio=0 tid=0x00007fb0066b3800 nid=0x3ab9d waiting on condition [0x00007fafcad6d000]
   java.lang.Thread.State: TIMED_WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x0000000748ae6e78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
	at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85)
	at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31)
	at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1066)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)

"http-nio-1601-exec-474" #36559 daem
最低0.47元/天 解锁文章
java waiting_java – 在tomcat中有100个线程TIMED_WAITING,导致它在线程总数超过200时停止...
weixin_29646607的博客
02-21 3088
最近我们的一个生产tomcat服务器没有响应,因为tomcat的繁忙线程高达200.当我们在重新启动之前进行线程转储时,我们在TIMED_WAITING状态下获得了100个线程,就像这3个线程一样：""http-bio-7007"-exec-241" daemon prio=10 tid=0x00002aaab107b000 nid=0x59df waiting on condition [0x0...
Apache Tomcat 9：Windows服务启动失败排查过程
fengyuzaitu_126_com的博客
06-17 967
场景 环境部署版本：apache-tomcat-9.0.7，由于该版本被安全扫描出漏洞，因此进行了升级，升级版本：apache-tomcat-9.0.39。Windows环境下手动执行startup.bat脚本启动正常，但是通过Windows服务形式启动，服务异常退出 日志分析 1catalina.2021-05-19.log java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.(HeapBy...
线程一直等待或突然中断问题排查
weixin_33949359的博客
06-26 2498
线程一直等待或突然中断问题排查问题描述：这两天经常收到“锁占用超时”的告警短信，第一次查找问题，是“批扣发送渠道任务”的锁占用超时，但未定位到原因，先暂时改了锁的状态，继续做业务。到第二天又发告警短信，这次是“批扣定时查询任务”的锁占用超时，意识到线程里某个地方肯定有问题，所以开始挤出时间排除问题。问题查找：首先查找业务日志，发现定时任务线程业务日志未正常打印结束日志，首先想到的可能因素：1、业务...
简单排查java应用CPU飙高的线程问题
weixin_30457065的博客
06-10 937
1. 获取要查看的进程的ID ps aux | grep xxx 2. 查看此进程下的线程信息 top -H -p <pid> top -p <pid> 按shift+h top -Hp <pid> 3. 查看栈信息 jstack <pid> > stack sudo -u t...
【线上】查询处理由于错误变慢，进而导致tomcat线程池满，导致大量请求在线程池中等待，客户端调用超时关闭
master-dragon的专栏
07-13 1481
客户端请求是60秒读超时返回，服务端一般处理查询是几十毫秒；由于特殊错误，导致处理时间变成了好几十秒了；
6到飞起Arthas——记一次线上问题排查及调优
qiubboy的博客
05-21 905
Arthas是Alibaba开源的Java诊断工具，通过Java agent机制 attach到ava进程上，使用ASM技术对需要诊断的类进行字节码修改。（详细原理及用法参照官方文档https://arthas.aliyun.com/doc/en/） 线上诊断神器Arthas，强烈安利一波。好嘞，切回本次重点，记一次线上调优： 背景： 公司自研的服务治理框架，sdk客户端在向控制中心寻址时，经常会出现寻址超时的情况（sdk客户端设置超时时间为3s）。虽然客户端会每5S会发送一次寻址请求，且请求到..
记一次线上tomcat worker线程在一个流量高峰后居高不下的问题及排查解决过程
River的博客
12-04 788
一天晚上有一个跑批任务要执行，这个任务可能会引发一个较大的流量并发到我们的一个应用服务。 果然不出意外，当天晚上9点半，这个应用服务的某个接口每秒请求量到达了150左右。这时调用方出现 大量等待超时，我们的这个应用服务则报出了大量获取数据库连接超时的异常。翻开日志一看原来是数据 库连接池Hikari从连接池获取空闲连接超时了。至于为什么Hikari会获取连接超时，后面分析。 好在这种高并发的访问只是顺时的，5分钟后恢复了平静报警也消失了，但问题并没有就此结束。不 一会正常的业务访问该接口也频繁出现.
记几次 [线上环境] Dubbo 线程池占满原因分析（第一次：HttpClient）
写作使人成长
04-17 5113
1、使用开源框架时要了解相关的原理，默认值不一定适合所有的场景，需要根据自己的场景分析选择对应的配置。 2、对代码存在敬畏之心，复杂的业务代码中，一个看似不起眼的http请求出现问题，最终会导致整个dubbo服务不可用。 3、完善监控系统，及时主动发现问题，及时处理降低影响面。
一次线上java应用响应时间过长问题的排查
xinzhongtianxia的博客
09-27 2901
同步发表在个人独立博客中，那里没有广告，很是清净 http://blog.lanjingdejia.com/articles/2019/09/27/1569574874482.html 最近接手一个老java应用，没多久接到响应时间太长的报警，整个排查过程还是挺有意思的，记录一下。 整个过程中，设计到cpu，内存，垃圾回收，引用，spring, 单例 等等知识，整个下来，心情愉悦。 接到报警 吃...
Java线程池自定义报警
m0_46362884的博客
03-23 925
Java线程池自定义报警 当线程池任务过多，使用拒绝策略时，你也希望收到消息，现在实现这一功能 : ) @AllArgsConstructor public class ThreadRejectTest { @SneakyThrows public static void main(String[] args) { AtomicLong atomicLong = new AtomicLong(); //1.创建线程工厂 ThreadFactor
基于HTTP、NIO、多线程实现浏览器高并发非阻塞访问服务器文件
03-30
代码经过压力测试，采用反应器模式，没有第三方框架，实现功能：可以一个线程处理多个请求，也可以加上多线程。处理数据采用的多线程。实现功能：基于HTTP协议，解析请求和拼接响应，基于NIO的非阻塞，线程池，文件传输。代码有详细注释和清晰的框架。 程序入口是： /HttpServerReactor/src/com/StartServer.Java 访问1，浏览：http://localhost:8989/files/1.txt 访问2，下载：http://localhost:8989/files/2.zip 测试并发，可以先下载，再浏览。
JAVA线程池中线程数量过多或过少导致的问题
zsy996的博客
04-03 2852
当一个线程的时间片用完的时候就会重新处于就绪状态让给其他线程使用，这个过程就属于一次上下文切换。概括来说就是：当前任务在执行完CPU时间片切换到另一个任务之前会先保存自己的状态，以便下次再切换回这个任务时，可以再加载这个任务的状态。如果等待锁的线程被抢占，则会阻止后面所有等待锁的线程获得锁。不过，由于调度器通常会分配足够长的时间片，使得保存和恢复的开销相对较小，因此这个开销并不是主要问题。我就开始琢磨一个问题，如果线程池中只有一个线程，这个线程也会因为CPU时间片用完而挂起，也就可以说，
【线上多线程问题总结】记一次项目线程数持续增加至1500多问题
发现问题，面对问题，分析问题，解决问题，总结问题
06-29 1182
根据运维反馈的线程数量趋势图 ，可以看到在1月～3月中旬线程数都是稳定的，这个数量大概在几十～1百左右，这个数量还比较合理，tomcat的线程数以及项目中的线程池。但是从3月底开始线程数就一直持续上升，到4月底又突然降低至稳定点，然后又持续波动，并在5月1号后持续上升，截止今天容器的线程数以及增长到1500多。
如何排查当前服务线程数过多
weixin_66120697的博客
08-24 713
第四个参数：系统负载，既任务队列的平均长度，三个数值分别代表最近1分钟，5分钟，15分钟的系统平均负载。​对于单核CPU来说,0表示没有负荷，1表示满负荷，大于1表示超负荷，理想值是0.7。第三个参数：ni用户进程空间内改变过优先级的进程占用CPU百分比。​ 第六个参数：hi CPU服务于硬件中断所耗费的时间总额。​ 第七个参数：si CPU服务软中断所耗费的时间总额。第一个参数：us用户空间占用的cpu百分比。第二个参数：sy内核空间占用的cpu百分比。第二个参数：正在运行的进程数。
线程数过高问题排查
qq_29364411的博客
04-05 2852
Java之JVM监控工具分享VM的基本知识常用的也就是类加载机制，内存区域、分配、OOM，GC，JVM参数调优
对警报线程池的警报线程_如何建立更好的警报
culuo4781的博客
07-28 496
对警报线程池的警报线程 背景 (Background) One of the most popular complaints from developers to DBAs involves alerting, whether from third party tools or alerting built by other developers or DBAs in the enviro...
从Sell线上线程数告警问题解决的过程谈ThreadDump分析的思路
君临天下技术专栏
05-13 2613
概述 本文通过定位线上一台机器的线程数异常的定位过程为例，主要展示分析定位同类问题的过程和思路，同时展示个人比较顺手的一些工具，包括阿里的一些内部平台。问题/故障分析的案例往往没有通用性，但是问题分析的思路往往趋同，可以供大家学习和借鉴。 问题描述 2015年5月4日，@欧仲找我帮忙能否定位下线程告警，告警情况如下: 机器名 监控项 服务状态
http端口被占用
我爱我老婆
09-26 2561
1、问题          通过Eclipse启动Tomcat时，抛出异常java.net.SocketException: Unrecognized Windows Sockets error: 0: JVM_Bind。此异常的原因是服务器端口被占用          其解决办法包括以下两种：         一：更改服务器的端口号；         二：关闭占用
OkHttp3使用连接池情况下大量占用端口TIME_WAIT
听雨小筑
11-23 2790
OkHttp3压测Client大量占用端口TIME_WAIT
运维，当cpu负载过高，应该怎么处理
最新发布
11-03
<think>嗯，用户询问的是CPU负载过高的运维处理方法。根据引用内容，我需要重点关注Linux环境下CPU负载高但利用率不一定高的情况。引用[2]提到一个典型案例：负载持续高达5但wa(iowait)为0，排除了磁盘I/O瓶颈的可能性，这提示负载高的原因可能比较复杂。 用户可能是运维工程师，正在处理线上故障，情绪可能比较焦虑。需要给出既专业又容易操作的排查步骤。引用[3]关于1/5/15分钟负载值的解释很有价值，应该纳入判断标准。 引用[4]的sar数据显示%idle高达99.87%，说明CPU资源充足但负载高，这种矛盾现象通常指向进程调度问题。结合这个特点，我计划从六个层面构建排查体系： 首先是负载确认环节，要强调多指标验证。引用[2]的top命令和引用[3]的三个时间维度负载值需要组合观察，还要补充vmstat的r值作为交叉验证。这里可以加入计算公式：当1分钟负载值持续大于CPU核心数就需警惕。 线程分析部分要突出两种诊断工具的组合使用。top的shift+H切换线程模式对应引用[2]的排查起点，但需要补充pstree展示进程树关系，这对排查"僵尸进程引爆负载"的场景特别有效。 锁竞争排查需要解释清楚概念。引用虽然没直接提及，但高负载低利用率往往由锁竞争导致，所以加入jstack和pidstat的锁统计方法，这是Java应用特有的排查点。 系统调用追踪层面，strace和perf工具能验证引用[2]中"非I/O等待"的假设。特别是当%sys较高时，系统调用次数激增可能是元凶，比如log4j重复打印堆栈就会引发这种状况。 资源限制排查容易被忽视，其实ulimit限制和cgroup配置错误经常导致"伪高负载"，这在容器化环境尤为常见。 最后优化部分要区分应急措施和根治方案。引用[1]提到的Java应用背景，应该强调Heap配置和GC调优。对于无法立即解决的场景，给出临时扩容的具体操作示例，如k8s的HPA配置语法。 相关问题设计成阶梯式：从基础监控到进阶调优，覆盖用户可能的后续需求。特别是第3个线程死锁问题，直接关联引用[2]的异常案例，帮助用户举一反三。 </think>根据引用内容和典型运维经验，CPU负载过高的处理流程如下（结合Linux环境）： --- ### **一、确认负载与CPU资源状态** 1. **查看实时负载** ```bash top # 查看load average三个值（1/5/15分钟） uptime # 快速获取负载值 ``` - 判断标准（引用[3]）： - 当负载持续 **> CPU逻辑核心数**（如4核机器负载>4）时需警惕 - 若15分钟负载持续高位，表明问题已存在较长时间 2. **分析CPU使用分布** ```bash top → 按1 # 查看每个核心的利用率 ``` - 关键指标（引用[2][4]）： - `%us`（用户态）过高 → 应用代码问题 - `%sy`（内核态）过高 → 系统调用频繁 - `%wa`（I/O等待）高 → 磁盘瓶颈（但引用[2]案例中wa=0） - `%id`（空闲）持续低于10% → CPU资源紧张 --- ### **二、针对性排查流程** #### ▶ **场景1：负载高但CPU利用率不高**（如引用[2]案例） 1. **检查阻塞型I/O** ```bash iostat -x 2 # 查看%util和await ``` - 若磁盘`%util > 80%`且`await`值高 → I/O瓶颈 2. **排查不可中断进程**（常见于磁盘/网络阻塞） ```bash top → 查看D状态进程（不可中断睡眠） ps aux | grep ' D ' ``` 3. **检查线程阻塞** ```bash pidstat -t -p <PID> 1 # 监控特定进程的线程 ``` #### ▶ **场景2：CPU利用率飙高** 1. **定位高CPU进程** ```bash top → 按P（CPU排序） ``` 2. **分析进程内部状态** - Java应用（引用[1]）： ```bash jstack <PID> > thread_dump.txt # 抓取线程栈 jstat -gcutil <PID> 1000 # 监控GC状态（频繁Full GC会导致CPU飙高） ``` - 通用程序： ```bash perf top # 查看函数级CPU占用 strace -p <PID> -c # 统计系统调用 ``` --- ### **三、高频问题解决方案** | **问题类型** | **验证命令** | **解决策略** | |---------------------|------------------------------|------------------------------------------| | **线程死锁** | `jstack`分析线程阻塞链 | 修复代码同步逻辑，优化锁机制 | | **频繁GC** | `jstat`观察GC频率 | 调整JVM堆大小，优化GC算法（如G1） | | **代码循环异常** | `perf top`定位热点函数 | 修复死循环/低效算法 | | **系统调用过多** | `strace -c`统计调用 | 减少IO操作，改用异步读写 | | **磁盘I/O瓶颈** | `iostat -x`查看await | 升级SSD，优化SQL查询，增加缓存 | | **外部依赖阻塞** | `netstat -antp`查网络连接 | 优化第三方API调用，添加超时熔断机制 | --- ### **四、关键优化措施** 1. **应用层** - Java程序：调整JVM参数（`-Xmx`, `-XX:+UseG1GC`） - 线程池：合理设置核心/最大线程数（避免线程爆炸） - 缓存：引入Redis/Memcached减少重复计算 2. **系统层** ```bash echo "net.ipv4.tcp_tw_reuse=1" >> /etc/sysctl.conf # 优化TCP连接 sysctl -p ``` 3. **监控增强** - 部署Prometheus+Grafana监控负载趋势 - 设置报警规则（如15分钟负载>核心数*2持续5分钟） > **引用补充**：当负载高但`%wa`正常时（如引用[2][4]），需重点排查**锁竞争、线程阻塞、调度延迟**等非I/O问题 [^2][^3]。 --- ### **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值