一次log4j的导致的OOM 破案之旅

最新推荐文章于 2024-06-16 20:09:27 发布
原创 最新推荐文章于 2024-06-16 20:09:27 发布 · 950 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在排查一起服务因OOM崩溃的事件时，发现日志中显示GC overhead limit exceeded异常。通过设置JVM参数捕获HeapDump文件并利用jhat分析，发现在内存中的大对象主要与log4j相关。进一步研究发现，由于每个任务实例创建时都会生成不同的logName，导致LoggerManager的Hashtable中积累了大量无法释放的Logger对象，从而引发内存泄漏。解决方案是优化log4j的使用，避免过度创建Logger。

起因

上周下午，正当我准备早早下班的时候，收到了一条报警信息，XX机器的XX服务不可用，按照运维操作步骤，先把服务恢复再说，由于服务是高可用，对业务没有影响，但是还是要找出出现问题的原因，避免下次再出现。按照之前的文档处理完重启之后，需要花点时间定位一下为什么进程会退出。

日志

首先，关注是日志，在日志中，出现了下面的信息

java.lang.OutOfMemoryError: GC overhaed limit exceeded .

一般来说，导致OOM的有两种情况：

  • 数据量增加，导致的堆的空间不够
  • 内存泄漏，对象没有及时回收。

GC overhaed limit exceeded 一般出现的原因就是程序把JVM的内存都耗尽了，GC花费了太多的时间来回收内存，当JVM耗费了90%以上的时间却回收不回来2%的空间的时候，就会抛出这个异常。

从这里就可以知道，我们的程序里面存在没有办法回收的内存，那么是什么？

HeapDump 文件

我们的JVM程序在启动的时候，通过以下参数设置了如果出现OOM的时候就把异常dump出来。

-XX:HeapDumpOnOutOfMemeryError -XX:HeapDumpPath=$path/jvm.hprof

通过分析hprof文件就可以清楚看到存在那些内存。

jhat

一开始，我使用了jhat文件，从上面的异常我初步判断可能跟日志打印有关系，开启j

最低0.47元/天 解锁文章
Log4J日志打印引发的OOM问题排查
过了这个村没这个老王的博客
08-30 8144
Log4J日志打印引发的OOM问题排查 上周，充当回消防队员去救火，一个老的CRM系统，生产上一天出现了CPU占用高，两次OOM问题。从时间上看，CPU占用高的报警也是因为JVM为了自救的疯狂GC导致的。 查看Dump文件 OOM提供了堆Dump以及线程栈Dump。由于是内网，无法截图，也不方便拍照。在此就引用一篇来自老东家的，极度相似的博客：https://rdc.hundsun.com/portal/article/884.html 栈Dump 从栈Dump线程中，可以看到大部分线程都在com.lm
Android-高质量开发之崩溃优化，kotlin循环for
m0_66264134的博客
02-05 419
系统的信息有时候会带有一些关键的线索，对我们解决问题有非常大的帮助。 Logcat。这里包括应用、系统的运行日志。由于系统权限问题，获取到的 Logcat 可能只包含与当前 APP 相关的。其中系统的 event logcat 会记录 APP 运行的一些基本情况，记录在文件 /system/etc/event-log-tags 中。 //system logcat: 10-25 17:13:47.788 21430 21430 D dalvikvm: Trying to load lib … //event
记一次log4j日志导致线上OOM问题案例
IT枫斗者的博客
07-10 1255
所以从这里就知道，只要有一次日志内容打印很多情况下，会造成StringBuilder里字段串对象很大，而且是不会销毁（除非当前ThreadLocal线程死了，前面说了项目配置了dubbo 500个线程，dubbo线程不死，所以这个对象一直都在），打印大日志对象次数多了，基本上造成所有dubbo线程ThreadLocal StringBuilder对象都很大。这个StringBuilder不就是上面看到打对象吗，知道了这个对象，接下来就是看这个ThreadLocal是怎么使用的啦。
log4j2 full gc频繁 disruptor 队列 内存泄漏 内存溢出
九二战歌的博客
05-06 3266
去年10月份生产环境服务出了点问题，现象是运行一段时间后，full gc非常频繁，从监控上看，基本上每分钟都在执行，本篇博客就纯当记录一下当时的解决过程。说到底还是博主太菜了，只知道复制粘贴，导致很多机制都不了解。
log4j日志打印导致OOM问题
u014800975的博客
06-10 2264
某天压测，QPS压到一定值后机器就开始重启，出现OOM，好在线上机器配置了启动参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/**/**heapdump.hprof。将dump文件下载到本地，打开Java sdk bin目录下的jvisualvm工具，导入dump文件，发现有非常多的char[]对象，于是开始分析原因。
记录：扩大分页导致log4j OOM
xyc1211的博客
05-10 218
log4j OOM
Android-高质量开发之崩溃优化
2401_84132204的博客
04-22 560
目前已经更新的部分资料：《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！6)][外链图片转存中…(img-zVM9XVuF-1713780723048)]《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
Android 高质量开发之崩溃优化(1)
2401_85730822的博客
06-16 916
对应上面的五种退出场景，我们排除掉主动自杀和崩溃（崩溃会单独的统计）这两种场景，希望可以监控到剩下三种的异常退出，理论上这个异常捕获机制是可以达到 100% 覆盖的。“被系统杀死” 是后台异常退出的主要原因，当然我们会更关注前台的异常退出的情况，这会跟 ANR、OOM 等异常情况有更大的关联。Native 崩溃。机型、系统、ROM、厂商、ABI，这些采集到的系统信息都可以作为维度聚合，共性问题例如是不是只出现在 x86 的手机，是不是只有三星这款机型，是不是只在 Android 8.0 的系统上。
Android-高质量开发之崩溃优化(1)
2401_84132176的博客
04-22 522
一线互联网Android面试题含详解（初级到高级专题）这些题目是今年群友去腾讯、百度、小米、乐视、美团、58、猎豹、360、新浪、搜狐等一线互联网公司面试被问到的题目。并且大多数都整理了答案，熟悉这些知识点会大大增加通过前两轮技术面试的几率如果设置门槛，很多开发者朋友会因此错过这套高级架构资料，错过提升成为架构师的可能。这就失去了我们的初衷；让更多人都能通过高效高质量的学习，提升自己的技术和格局，升职加薪。最后送给大家一句话，望共勉，永远不要放弃自己的梦想和追求；
log4j2配置文件解读
底层码农
04-19 1060
log4j2
记一次日志输出大对象导致频繁FullGC问题
无名丶任性
04-07 2828
在性能测试过程中，发现有一个交易在5个并发的情况下单机单jvm的时候交易响应时间变长，由于该交易外调了3个系统，所以刚开始是怀疑其他系统的响应时间变长了，但是通过日志分析，发现其他系统响应时间基本稳定，所以排除其他系统的问题，后来通过jstat查看jvm垃圾回收信息原来是频繁fullGC导致的交易响应时间变长，记录一下本次问题排查的过程： 通过以下命令查看jvm垃圾回收的统计信息： jstat -gcutil PID 1s 意思是查看java进程为PID 的jvm每1s中的垃圾回收信息，通过这个命令看到
几种OOM异常分析
热门推荐
sunquan291的专栏
01-22 7万+
OOM为out of memory的简称，称之为内存溢出。 程序中常见的打印有如下几类： 一： 如图： Java应用程序在启动时会指定所需要的内存大小，其主要被分割成两个不同的部分，分别为Head space(堆空间-Xmx指定)和Permegen(永久代-XX:MaxPermSize指定)， 通常来说，造成如上图异常的基本上程序代码问题而造成的内
为什么会抛出：GC overhead limit execeded
qq_35203362的博客
01-14 204
1、花在GC上的时间超过98% 2、老年代释放的内存小于2% 3、eden区释放的内存小于2% 4、最近5次GC都同时出现上面的几种情况，不是出现一个
log4j2 大日志导致占用内存过多问题
laomei
04-13 8615
代码里有频繁的日志打印，并且会打印大对象，单条日志较大，导致jvm被大量日志对象占用。 LOG4J2-1858 log4j2在2.9.0版本代码 org.apache.logging.log4j.message.ParameterizedMessage @Override public String getFormattedMessage() { if (formattedMessage == null) { final StringBuilder buffer = getThrea
JVM 发生 OOM 的 8 种原因、及解决办法
weixin_45189747的博客
07-20 610
小A：xx服务又宕机了 小B：歪日，咋搞的，登上去看看咋回事 小A：又OOM了，不知道哪个**写的代码，一坨*一样。 撸Java的同学，多多少少会碰到内存溢出（OOM）的场景，但造成OOM的原因却是多种多样。 堆溢出 这种场景最为常见，报错信息： 1. `java.lang.OutOfMemoryError: Java heap space` 原因 1、代码中可能存在大对象分配 2、可能...
高并发下，log4j日志打印行数导致的内存溢出问题
weixin_30772105的博客
06-23 3079
log4j日志打印时，如果将行数打印出来，在调用量极大的情况下，会出现内存溢出问题。 log4j打印日志，打印行数时，行数是通过一个一个exception抛出，再极高调用量的情况下，内存会因为exception创建过多的大量使用。 转载于:https://www.cnblogs.com/hustzzl/p/7067930.html...
OOM故障分析记录：byte[] 占用了大量内存
SunlightDen的博客
01-02 6681
现象： 工作时遇到某个服务老是频繁重启，日志报错为OOM 分析： 出现OOM是因为整个堆内存不够用了，此时JVM首先尝试扩展更多的空间，其次GC尝试回收内存，前两种方法无果的情况下只能报OOM并退出 可能的情况：内存不够、内存泄漏 尝试解决问题的步骤： 加上JVM参数 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath= ，设置当出现OOM时，dump整个堆的信息 等OOM后，将文件拷贝到电脑上 用JDK自带的 visualVM，打开dump文件 设置了最
从阿里来个技术大佬，入职就给我们分享Java打日志的几大神坑！
石杉的架构笔记
10-31 1047
文章来源：https://juejin.cn/post/7152173254734512141前言在日常开发中，如果你是一名后端开发人员，想必应该非常清楚在应用系统运行期间，打印日志有多么重要。它不但能够记录服务运行情况及轨迹，还有助于提升故障排查及定位问题的效率，甚至还可以对其进行分析及监控，洞察系统隐患，提前预警防范。如果输出的日志是毫无价值的，或者是存在问题的时候，会给我我们带来很多不必要的...
log4j2日志脱敏时导致oom问题
最新发布
11-06
首先，用户的问题是：“我想查找log4j2日志脱敏时导致OOM问题的解决方案 请问log4j2日志脱敏导致OOM问题的解决办法”。用户引用了四个引用：[^1], [^2], [^3], [^4]，但这些引用是关于日志处理的，不是直接解决OOM...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

QGBigdata

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值