使用jstack命令的一次排坑记录

最新推荐文章于 2022-08-31 11:19:41 发布
原创 最新推荐文章于 2022-08-31 11:19:41 发布 · 898 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#jstack #JedisPool

在使用JedisCluster实现分布式锁时，高并发导致系统假死。通过jstack发现大量JedisPool线程处于WAITING状态，调整MaxWaitMillis参数至1000后，问题得以解决。

昨天使用Redis实现了一个分布式锁，在对这个锁进行压测的过程中，系统出现了假死状态。

我用的是JedisCluster，当并发达到一定数目之后，redis命令就不再执行了，tomcat也无法再对外提供任何服务。后台不报任何异常，CPU占用率并不高，内存也没有爆表。种种迹象都明，可能是系统中的某些线程发生了阻塞，也许是死锁，也许是其它。

开始我以为是我写的分布式锁有问题，于是以各种单线程或低并发做测试，然而并没有发现什么问题；一次只lock一个资源，也不可能导致死锁。所以应该就是高并发导致了系统产生某种故障。

于是我想到了用jstack来查看jvm中线程的运行情况。

当系统再次发生阻塞时，首先在命令行中敲入：jps，拿到当前tomcat的pid 12076，之后在命令行中敲入jstack -l 12076 >> E:/jstack_info1.txt，将thread dump记录输出到一个文件中。

打开后一看，发现有大量的JedisPool线程处于WAITING状态：

“http-nio-8092-exec-200” #241 daemon prio=5 os_prio=0 tid=0x0000000024b2d000 nid=0x6d98 waiting on condition [0x000000003821c000]
java.lang.Thread.State: WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
- parking to wait for <0x0000000779897f18> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
at org.apache.commons.pool2.impl.LinkedBlockingDeque.takeFirst(LinkedBlockingDeque.java:590)
at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:425)
at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:346)
at redis.clients.util.Pool.getResource(Pool.java:49)
at redis.clients.jedis.JedisPool.getResource(JedisPool.java:226)
at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnectionFromSlot(JedisSlotBasedConnectionHandler.java:70)
at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:113)
at redis.clients.jedis.JedisClusterCommand.run(JedisClusterCommand.java:30)
at redis.clients.jedis.JedisCluster.set(JedisCluster.java:123)
at slg.rainbow.lock.RedisDistributeLock.tryGetLock(RedisDistributeLock.java:27)
at slg.rainbow.seckill.service.SeckillWebService.submitOrder(SeckillWebService.java:29)
……

上网随便一搜，爆出好几篇文章来，选两个有代表意义的：
《jedisPool.getResource()方法长时间无响应并且不报错》
《jedisPool.getResource()方法长时间无响应并且不报错，方法阻塞》

基本上都是关于JedisPool中MaxWaitMillis参数配置的。如果不对这个参数进行显示配置，那么默认MaxWaitMillis=-1，等于-1什么意思呢？就是当JedisPool线程耗尽的时候，永远的阻塞下去……OMG !

于是我把这个参数调成了1000：
在这里插入图片描述
问题终于解决！

【面试题001】最强java八股文
优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704
11-20 2万+
一、基础篇 网络基础 TCP三次握手 1、OSI与TCP/IP 模型 2、常见网络服务分层 3、TCP与UDP区别及场景 4、TCP滑动窗口，拥塞控制 5、TCP粘包原因和解决方法 6、TCP、UDP报文格式 HTTP协议 1、HTTP协议1.0_1.1_2.0 2、HTTP与HTTPS之间的区别 3、Get和Post请求区别 4、HTTP常见响应状态码 5、重定向和转发区别 6、Cookie和Session区别。 浏览器输入URL过程 操作系统基础 进程和线程的区别 1、进程间..
面试经验积累
冰雨的博客
02-22 488
自我介绍怎么写？ 你好，我叫hechaopeng,18年东北林业大学计算机专业本科毕业，毕业之后加入美团工作，目前在美团工作大概3年多，主要做java开发相关的工作，只能说java基础方面还是比较扎实得，但是中间一年做的数据挖掘方面的工作，所以在大数据spark等方面也有一定的积累。但最终觉得自己还是更擅长做java开发相关的工作，后面一年又继续做java方面的工作但是是做的偏业务复杂方面的系统，目前也是想看一下外面的机会，想争取一下，找到一个更好做java的环境，所以就投了你们公司的岗位。 项目介.
使用jstack定位应用服务器CPU使用率高的过程记录
sully2008的专栏
11-20 1145
1.使用top查看CPU使用情况，发现用户为app的java进程CPU使用率近400%(4核CPU)，记录下PID。(说明：系统恢复正常后的截图) 2.查看该进程中线程CPU使用率，使用top -Hp pid 查看各线程情况,并记录下CPU使用率高的线程ID(说明：系统恢复正常后的截图) 现场截图为： PID USER PR NI VIRT RES SHR S ...
面试准备 -- 线程池队列LinkedBlockingDeque详解
LuckyToMeet-Dian叶
03-28 1626
上一篇文章我们介绍了 LinkedBlockingQueue 队列，我们知道 LinkedBlockingQueue 是一个无界先进先出的队列。今天我们来学习一个双端队列 – LinkedBlockingDeque，该队列可以在队首和队尾插入元素。这两种队列的底层都是基于链表实现。 下面我们来看看 LinkedBlockingDeque 类的关系图： 上一篇文章我们的就说过是接口方法是不断抽象出...
由于redis配置不当导致事务在运行过程中获取不到redis资源无法提交，从而导致数据库被锁死，大量线程处于waiting状态
top_explore的博客
01-03 1446
问题 项目启动后，调用十次左右出现线程阻塞，数据库被锁的现象，logback日志显示如下： Caused by: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceeded; try restarting transaction at com.mysql.cj.jdbc...
登录接口压测响应慢频繁GC问题排查
cheetahlover的博客
06-03 3268
登录接口压测响应慢GC问题排查 2020.5.22 最近项目组针对几个较重要的接口进行了几十个小时的压测，发现登录接口的压测呈现了一种响应慢且越来越慢的趋势，CPU 也居高不下 压测情况 查看CPU占用情况如图所示： 找到对应服务包是鉴权服务(auth)： 持续运行3小时的CPU占用曲线图： 结论：sc-auth包中的登录接口，占用CPU较高，需要优化。 排查思路 业务场景很简单，账号密码鉴权登录接口。 先排查为什么CPU占用率高 从top命令的结果发现。pid为15082的
tomcat假死排查-数据连接池耗尽
chang_yushun的博客
03-31 5742
问题背景：测试环境最近隔几周就会出现请求服务没有响应，查看服务进程正产，查看后台日志没有任何报错的日志，查看tomcat下的localhost_access_log.log日志中也没有请求记录。 排查步骤： （1）查看tomcat的jvm的gc日志，分析后正常。（tomcat如何开启gc日志以及如何分析日志，可参考文章：https://www.jianshu.com/p/d1f5916d554...
首次使用disruptor框架遇到的问题
搬运工007
08-31 1630
首次使用disruptor框架遇到的问题,就感觉有点麻瓜
工作记录笔记
逍遥飞鹤的专栏
04-16 7921
Java相关原理和深入学习：http://wiki.jikexueyuan.com/list/java/ RPC框架：         http://www.cnblogs.com/luxiaoxun/p/5272384.html https://my.oschina.net/huangyong/blog/361751 编程狂人周刊：http://www.tuicool.c
最新八股文面试题
weixin_44530708的博客
03-01 3042
最新八股文面试题
抓取jstack方法及解决system用户执行jstack命令权限问题
08-04
抓取jstack方法及解决system用户执行jstack命令权限问题, 打开cmd窗口，输入命令 jstack -l 49824>>C:/error01.txt 其中49824为tomcat8.0 的pid ； error01.txt 这个可以自己取名字 多输出几份jstack 文件，做比对分析 windows 输出环境变量 echo %JAVA_HOME% ps H -eo user,pid,ppid,tid,time,%cpu,cmd --sort=%cpu backgroundProcessorDelay=900 PsExec.exe -i -s cmd.exe
org/apache/commons/pool/impl/GenericObjectPool异常的解决办法
tfy1332的专栏
08-29 2711
org/apache/commons/pool/impl/GenericObjectPool异常的解决办法 webwork+spring+hibernate框架的集成, 一启动Tomcat服务器就出了一大堆异常 报的错误是java.lang.NoClassDefFoundError: org/apache/commons/pool/impl/GenericObjectPool 在网
blockingdeque java_Java并发编程之LinkedBlockingDeque阻塞队列详解
weixin_39631953的博客
02-13 249
简介LinkedBlockingDeque是一个由链表结构组成的双向阻塞队列，即可以从队列的两端插入和移除元素。双向队列因为多了一个操作队列的入口，在多线程同时入队时，也就减少了一半的竞争。相比于其他阻塞队列，LinkedBlockingDeque多了addFirst、addLast、peekFirst、peekLast等方法，以first结尾的方法，表示插入、获取获移除双端队列的第一个元素。以l...
LinkedBlockingDeque<E>源码详解
p812438109的专栏
01-05 387
一）LinkedBlockingDeque<E>简介 LinkedBlockingDeque<E>源码详解(基于jdk1.8.0_162) 1）底层由双链表实现。 2）是一个可以双端操作的阻塞队列（先进先出，先进后出）。 3）创建时，可指定队列初始容量，如未指定，默认为Integer.MAX_VALUE，指定后不能修改。是一个线程安全的队列。 类图：Link...
Redis之——jedis高版本的JedisPoolConfig没有maxActive和maxWait
冰河的专栏
08-05 2万+
jedis包括2.4.1，2.5.1等高版本的JedisPoolConfig没有maxActive属性，不能按照网上那些方式去配置redis了，网上大部分搜索出来的redis配置都是基于旧版本的jedis，在jedis新版本，JedisPoolConfig没有maxActive属性，JedisPoolConfig没有maxWait属性，以及被替换成其他的命名。 其实高版本的jedis使用了org
Java并发编程之LinkedBlockingDeque阻塞队列详解
热门推荐
Stay Hungry, Stay Foolish
06-06 2万+
简介LinkedBlockingDeque是一个由链表结构组成的双向阻塞队列，即可以从队列的两端插入和移除元素。双向队列因为多了一个操作队列的入口，在多线程同时入队时，也就减少了一半的竞争。相比于其他阻塞队列，LinkedBlockingDeque多了addFirst、addLast、peekFirst、peekLast等方法，以first结尾的方法，表示插入、获取获移除双端队列的第一个元素。以l...
commons-pool2 池化技术探究
vivo互联网技术
04-27 747
一、前言 我们经常会接触各种池化的技术或者概念，包括对象池、连接池、线程池等，池化技术最大的好处就是实现对象的重复利用，尤其是创建和使用大对象或者宝贵资源（HTTP连接对象，MySQL连接对象）等方面的时候能够大大节省系统开销，对提升系统整体性能也至关重要。 在并发请求下，如果需要同时为几百个query操作创建/关闭MySQL的连接或者是为每一个HTTP请求创建一个处理线程或者是为每一个图片或者XML解析创建一个解析对象而不使用池化技术，将会给系统带来极大的负载挑战。 本文主要是分析commons-pool
springbppt2.0 redis 无法启动 org/apache/commons/pool2/impl/GenericObjectPoolConfig
weixin_43872964的博客
01-24 4040
springbppt2.0 redis 无法启动欢迎使用Markdown编辑器 欢迎使用Markdown编辑器 Caused by: org.springframework.beans.BeanInstantiationException: Failed to instantiate [org.springframework.data.redis.connection.RedisConnectio...
利用commons-pool2自定义对象池
lan墨的博客
05-12 1万+
利用commons-pool2自定义资源池 commons-pool2是Apache下一个开源的公共资源池。我们可以根据它来快速的建立一个自己的资源池。 1. 相关概念: 此处连接池并不单指链接对象的池子，泛指某一对象的对象池.通常打开或者关闭一个链接是十分耗时的事情,如果能将链接缓存起来重复使用就能节省很多时间. 链接池/对象池(ObjectPool):用于存放链接对象的一个池子(集合
jstack 命令使用获取线程日志
最新发布
11-29
<think> 首先，用户的问题是关于如何使用 jstack 命令获取线程日志。根据系统级指令，我需要： - 所有行内数学表达式用 $...$，但这个问题似乎没有数学相关内容，所以可能不需要。 - 独立公式用 $$...$$，但同样，这里可能不适用。 - LaTeX 语法正确：确保任何公式正确。 - 使用中文回答：整个回复用中文写。 - 生成相关问题：在回答结束后，添加相关问题部分。 - 回答中引用的段落末尾自然地添加引用标识：例如 [^1]。引用来自提供的上下文。 用户提供了两个引用： - 引用 [1]：描述 jstack 工具，用于生成线程快照，帮助定位线程停顿原因。 - 引用 [2]：一步步指导如何使用 jstack 获取线程信息，特别是针对高 CPU 使用率的情况。 用户最后说："我想获取使用 jstack 命令获取线程日志的方法 请问如何使用 jstack 命令获取线程日志"，所以核心是指导如何使用 jstack。 我的回答需要结构清晰，帮助用户逐步解决问题。参考引用来确保真实可靠。 结构化回答： 1. **介绍 jstack**：简要解释 jstack 是什么，基于引用 [1]。 2. **步骤指导**：基于引用 [2]，详细描述如何获取线程日志。包括： - 找到高 CPU 使用率的进程 ID。 - 使用 jstack 生成线程快照。 - 分析线程信息。 3. **添加引用标识**：在相关段落末尾添加引用，如 [^1] 和 [^2]。 4. **注意事项**：可能添加一些提示，比如确保 Java 环境设置正确，或解释输出格式。 最后，生成相关问题部分。 相关问题应该基于主题，如： - jstack 的其他用途？ - 如何分析 jstack 输出？ - 常见问题排查技巧？ 确保回答真实可靠：依赖提供的引用，避免猜测。 完整回答结构： - 开头：直接回答问题。 - 主体：分步骤解释。 - 结尾：总结。 - 相关问题部分：以 §§相关问题§§ 开头，然后列出问题。 在用户可见层，保持回答清晰、逐步。 </think> ### 如何使用 jstack 命令获取线程日志 `jstack` 是 Java 开发工具包（JDK）中的一个实用命令，用于生成 Java 虚拟机（JVM）的线程快照（也称为线程 dump 或线程日志）。线程快照记录了当前 JVM 中所有线程的执行状态、调用堆栈信息，帮助开发人员诊断线程问题，如死锁、死循环或资源等待。以下是一个结构清晰的逐步指南，基于引用提供的标准操作流程[^1][^2]。操作前，请确保已安装 JDK 并配置好环境变量（如 `JAVA_HOME`）。 #### 步骤 1: 定位高资源消耗的 Java 进程 首先，使用系统工具（如 `top` 或 `jps`）找到目标 Java 进程的 ID（PID）。这通常是 CPU 或内存使用率异常的进程。 - **使用 `top` 命令查看系统进程**： 在终端运行 `top` 命令，查看所有进程的资源占用情况。记录 CPU 或内存占用高的 Java 进程 PID。 - **使用 `jps` 命令确认 Java 进程**： 运行 `jps -lv` 列出所有 Java 进程及其详细信息（包括 PID 和启动参数），结合 `top` 输出确认目标进程 PID。例如： ```bash jps -lv # 输出示例: 12345 com.example.MyApp ``` 如果进程 PID 为 `12345`，则后续步骤使用此 PID。 #### 步骤 2: 监控目标进程的线程 针对目标 PID，使用 `top` 细化监控，找出高资源消耗的线程。 - **运行 `top -p [PID]`**： 替换 `[PID]` 为实际进程 ID，例如 `top -p 12345`。 - **查看线程信息**： 在 `top` 监控界面中，输入 `H`（大写），切换到线程视图。记录 CPU 占用高的线程 ID（TID），例如 `67890`。 #### 步骤 3: 使用 jstack 生成线程快照 使用 `jstack` 命令生成线程日志文件，输出为文本格式。 - **执行 jstack 命令**： 运行以下命令，将快照保存到文件（如 `stack.txt`）。注意：此处使用 Java 进程的 PID（不是线程 ID）。 ```bash jstack [PID] >> stack.txt # 示例: jstack 12345 >> stack.txt ``` 命令执行后，`stack.txt` 文件将包含所有线程的堆栈信息。如果程序崩溃或生成 core 文件，`jstack` 也可用于分析 core dump（添加 `-F` 选项强制附加）[^1]。 #### 步骤 4: 分析线程日志 线程日志文件（如 `stack.txt`）需要进一步分析，以定位问题线程。 - **转换线程 ID 为十六进制**： 高资源消耗的线程 ID（步骤 2 中的 TID）需转换为十六进制格式，以便在日志中搜索。例如： ```bash printf "%x\n" [TID] # 示例: printf "%x\n" 67890 → 输出 "10932" ``` - **在日志文件中查找线程信息**： 打开 `stack.txt`，搜索十六进制线程 ID（如 `nid=0x10932`）。日志会显示该线程的完整堆栈跟踪，包括正在执行的方法和代码行号。 示例日志片段： ``` "main" #1 prio=5 os_prio=0 tid=0x00007f8e3c00a800 nid=0x10932 runnable [0x00007f8e3d88e000] java.lang.Thread.State: RUNNABLE at com.example.MyApp.method(MyApp.java:10) ... ``` 分析堆栈信息，识别问题根源（如死锁或循环调用）[^2]。 #### 注意事项 - **权限要求**：运行 `jstack` 需要与目标 Java 进程相同的用户权限，否则可能失败。 - **实时附加**：如果 Java 进程处于 hung 状态（无响应），`jstack` 可直接附加到运行中进程生成快照[^1]。 - **日志解读**：线程状态（如 `RUNNABLE`、`BLOCKED`）指示问题类型；结合日志和源代码排查问题方法。 - **工具扩展**：对于生产环境，可结合 `jcmd` 或可视化工具（如 VisualVM）增强分析。 通过以上步骤，您可以高效获取并分析线程日志，快速定位 JVM 性能问题[^1][^2]。如果遇到权限或环境问题，请检查 JDK 安装路径（`which java` 确认）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值