java如何排查线上问题

原创已于 2025-02-22 13:51:33 修改 · 773 阅读

CC 4.0 BY-SA版权

文章标签：

于 2025-02-22 12:43:19 首次发布

2 篇文章

订阅专栏

在Java线上环境中排查故障需要系统化的方法和合适的工具，以下是详细的排查步骤及常用工具：

明确症状：确认是CPU飙升、内存泄漏、线程阻塞、响应超时，还是频繁Full GC。
查看监控：使用Prometheus、Grafana、Zabbix等工具查看系统指标（CPU、内存、线程、GC次数、请求量等）。
检查日志：通过ELK（Elasticsearch、Logstash、Kibana）或分布式日志系统搜索错误日志（如ERROR、Exception）。

定位高CPU线程：

jps -l         # 查看java 进程 获取pid
top -H -p <pid>         # 查看进程内各线程CPU占用
printf "%x\n" <tid>     # 将线程ID转为16进制（用于jstack分析）
jstack <pid> > thread.txt

工具辅助：
- Arthas：使用thread -n 3查看最忙的3个线程。
- Async-Profiler：生成火焰图定位热点代码。

查看内存分布：

jmap -heap <pid>        # 堆内存概况
jstat -gcutil <pid>     # GC统计（关注老年代占用）

导出堆快照：
```
jmap -dump:live,format=b,file=heap.hprof <pid>
```
- 使用 Eclipse MAT 或 VisualVM 分析heap.hprof，查找Retained Heap最大的对象。

Arthas内存分析：

dashboard                 # 实时内存监控
heapdump --live /tmp/heap.hprof  # 导出堆快照

查看线程状态：
```
jstack <pid> > thread.txt
```
- 搜索BLOCKED、WAITING状态的线程，分析代码锁竞争。

Arthas快速诊断：

thread -b              # 直接定位死锁线程
thread --state BLOCKED # 查看阻塞线程

链路分析：
- 使用分布式追踪工具（SkyWalking、Zipkin）查看请求链路耗时。
数据库慢查询：
- 开启MySQL慢查询日志，或使用Arthas的watch命令监控SQL执行时间：
```
watch com.mysql.jdbc.ConnectionImpl executeQuery "{params, returnObj}" -x 3
```

代码级瓶颈：

Arthas Profiling：

profiler start          # 开始采样
profiler stop --format html  # 生成火焰图

检查GC日志：
- JVM参数添加 -Xloggc:gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps。
- 使用 GCViewer 或 GCEasy 分析GC日志，观察老年代回收效率。
常见原因：
- 内存泄漏（通过堆快照分析）。
- JVM参数不合理（如堆大小、Survivor区比例）。

连接池耗尽：
- 检查数据库连接池（如HikariCP）配置，使用jstack查看等待连接的线程。
网络延迟：
- 使用tcpdump或Wireshark抓包分析。
- Arthas网络诊断：
```
trace java.net.SocketInputStream socketRead
```