记一次生产jvm oom问题

原创已于 2024-02-24 20:13:43 修改 · 1.3k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#jvm

于 2024-02-24 20:06:47 首次发布

生产实际遇到问题专栏收录该内容

8 篇文章

订阅专栏

本文介绍了如何在JavaJVM中配置参数处理OOM（内存溢出），使用MAT工具分析内存dump文件，发现ScheaTest$ZxcUser类的byte[]数组导致问题。通过调整延时队列策略，限制任务队列大小，避免内存异常。最后提到对于重要数据，应考虑使用MQ的延时队列进行处理以确保数据完整性。

前言

jvm添加以下参数，发生OOM时自动导出内存溢出文件

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt

内存分析工具： MAT, 下载地址：Eclipse Memory Analyzer Open Source Project | The Eclipse Foundation，注意工具地址要跟你的jdk匹配，至少你的jdk要比MAT的需要的高

参考使用地址：JVM 内存分析工具 MAT 的深度讲解与实践——入门篇 - 掘金

生产业务简单描述

小程序注册用户推送，需要发布一个注册事件进行上报处理，逻辑需要设备的数据，而这部分数据发生在用户注册以后才会生成，可能隔个几秒才会出来，所以才需要借助延时队列进行处理。10s后再进行发布

之所以会有这种并发问题是因为这个小程序在有广告投放的时候会瞬间很多流量打进来，从而引起这种问题。

分析dump文件

主界面如下

Histogram方式

然后选择如下信息

可以看到byte[]的第一个引用是com.zxc.movie.main.bo.movie.ScheaTest$ZxcUser，到此就能找到源头了，可以全局搜索该类的引用情况

dominator_tree方式

也可以很容易定位到com.zxc.movie.main.bo.movie.ScheaTest$ZxcUser引用的问题

模拟代码如下

package com.zxc.movie.main.bo.movie;

import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class ScheaTest {

    public static void main(String[] args) throws Exception{

        ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(1);

//        TimeUnit.SECONDS.sleep(20);
        System.out.println("come");
        while (true) {
            Thread.sleep(100);
            executor.schedule(new ZxcRunner(), 1000, TimeUnit.SECONDS);
        }

    }
    public static class ZxcRunner implements Runnable {

        private ZxcUser zxcUser = new ZxcUser();

        public ZxcUser getZxcUser() {
            return zxcUser;
        }

        @Override
        public void run() {
            System.out.println(zxcUser);
        }
    }

    public static class ZxcUser {
        private byte[] bytes = new byte[1024 * 1024];
    }
}

确实是com.zxc.movie.main.bo.movie.ScheaTest$ZxcUser出现了问题

总结

这里是我模拟的一个情况，可能比较好定位，真实的业务情况可能稍微复杂点，但是业务就是这么个事，延时任务里面对象一瞬间过多导致内存溢出了

解决方案

真实的业务情况不会推迟1000s才执行任务，大概在10s内就可以发出去了，这里只是为了更好的看到这个问题，也就是说生产上在10s内进入了很多事件，导致发生了OOM的问题，改进如下

package com.zxc.movie.main.bo.movie;

import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class ScheaTest {

    public static void main(String[] args) throws Exception{

        ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(1);

//        TimeUnit.SECONDS.sleep(20);
        while (true) {
            Thread.sleep(100);
            if(executor.getQueue().size() < 5) {
                executor.schedule(new ZxcRunner(), 1000, TimeUnit.SECONDS);
            } else {
                System.out.println("队列满了,待释放");
            }
        }

    }
    public static class ZxcRunner implements Runnable {

        private ZxcUser zxcUser = new ZxcUser();

        public ZxcUser getZxcUser() {
            return zxcUser;
        }

        @Override
        public void run() {
            System.out.println(zxcUser);
        }
    }

    public static class ZxcUser {
        private byte[] bytes = new byte[1024 * 1024];
    }
}