真实还原定位java内存OOM步骤

最新推荐文章于 2023-05-06 00:04:32 发布

原创

最新推荐文章于 2023-05-06 00:04:32 发布 · 置顶 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#java #oom #nio #httpcore-nio #reactor

本文详细记录了一次复杂的Java内存泄漏定位过程，从发现问题到获取内存dump，再到利用Eclipse Memory Analyzer进行深入分析，最终锁定问题根源为XML解析时未设置超时导致的线程阻塞。

文章目录

abstract
问题现象
头大的分析步骤
根本原因
学到的
参考

abstract

自己做了很久的java开发了, 很久没有写关于内存泄漏/溢出相关的问题定位了. 本文会描述一个十分曲折的定位过程. 从本文里面可以学到:

jdk11的内存dump
如何分析大对象
如何结合OQL还原真实的问题现场

问题现象

产品某一台服务器发现内存(4G), 已经使用超过90%, 所以我就收到了相关alert如下图:

在这里插入图片描述
可以看出来内存一直在以非常缓慢的速率增加, 而且增长速率很慢. 拿到这个问题的第一想法:

为什么其他服务器没有问题? 我们的这个服务本身是无状态的,还有大概12台机器, 只有另外一台也有相关问题.
为啥内存增长如此缓慢? 内存泄漏应该会很快出现.
都~4个月没有改过代码了

头大的分析步骤

既然问题已经发生了, 那么第一步应该是获取内存dump (因为服务还在运行, 这是个好信号).

如何获取内存dump?

尝试1

一般的应用都会打开HeapDumpOnOOM选项, 但是此时进程还是okay的, 所以不行.

尝试2

用jmap试试. 因为我们已经开始使用JDK11了 (小版本11.0.3), 结果发现不行.

/usr/java/jdk11.0.3.7.1/bin/jmap -dump:format=b,file=test.heap 32065
Exception in thread "main" com.sun.tools.attach.AttachNotSupportedException: Unable to open socket file /proc/32065/root/tmp/.java_pid32065: target process 32065 doesn't respond within 10500ms or HotSpot VM not loaded
	at jdk.attach/sun.tools.attach.VirtualMachineImpl.<init>(VirtualMachineImpl.java:100)
	at jdk.attach/sun.tools.attach.AttachProviderImpl.attachVirtualMachine(AttachProviderImpl.java:58)
	at jdk.attach/com.sun.tools.attach.VirtualMachine.attach(VirtualMachine.java:207)
	at jdk.jcmd/sun.tools.jmap.JMap.executeCommandForPid(JMap.java:128)
	at jdk.jcmd/sun.tools.jmap.JMap.dump(JMap.java:196)
	at jdk.jcmd/sun.tools.jmap.JMap.main(JMap.java:114)

同样的用jcmd也是上面的错误.

尝试3

突然发现, 既然现在程序还在运行, 试试JMX中的heapdump bean是否可行呢? 结果是可以的. 而且我们的程序内置了一个groovy 执行框架(支持在jvm上运行groovy脚本), 所以我们就可以用如下的代码来执行heapdump:

import com.sun.management.HotSpotDiagnosticMXBean

import javax.management.MBeanServer
import java.lang.management.ManagementFactory

class HeapDumper {
    private static final String HOTSPOT_BEAN_NAME = "com.sun.management:type=HotSpotDiagnostic";
    private static volatile HotSpotDiagnosticMXBean hotspotMBean;


    static void dumpHeap(String fileName, boolean live) {
        // initialize hotspot diagnostic MBean
        initHotspotMBean();
        try {
            hotspotMBean.dumpHeap(fileName, live);
        }
        catch (RuntimeException re) {
            throw re;
        }
        catch (Exception exp) {
            throw new RuntimeException(exp);
        }
    }

    // initialize the hotspot diagnostic MBean field
    private static void initHotspotMBean() {
        if (hotspotMBean == null) {
            synchronized (HeapDumper.class) {
                if (hotspotMBean == null) {
                    hotspotMBean = getHotspotMBean();
                }
            }
        }
    }

    public stat

最低0.47元/天解锁文章