xxljob中执行器配置错误导致的NioEventLoopGroup未被正确回收的oom分析和解决

原创 已于 2022-11-03 16:53:24 修改 · 5.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #后端 #xxljob #oom #内存分析

于 2021-11-15 10:34:06 首次发布
博客主要讲述了在使用Netty过程中遇到的内存溢出问题，原因是NioEventLoopGroup未被正确回收。通过日志发现执行器配置错误，导致异常并未能释放资源。在定位到问题代码后，通过在异常处理中手动调用close方法释放NioEventLoopGroup，经过压测验证解决了内存溢出问题。

一. mat内存分析

 

报告中NioEventLoop占用了1.2g的容量,大部分的堆空间

定位NioEventLoop正确的被引用位置应该为下图所示

NioEventLoopGroup正确的被引用位置为下图所示

 

但发现大量的NioEventLoopGroup没有被正确引用,却也没有回收掉

故初步定位为:NettyHttpConnectClient 下的group(io.netty.channel.nio.NioEventLoopGroup)未被正确回收

二. 排查日志

观察日志发现有大量触发器执行失败日志,原因为执行器配置ip错误

进而代码定位(通过模拟执行器无法联通的场景):

进入client.asyncSend中查看错误位置:

进入connectClient_new.init中查看错误位置,这里也是真正导致没有正确回收NioEventLoopGroup的原因:

三. 测试验证(复现问题)

本地配置一个不存在(ip对应的服务器存在,但端口不存在)的执行器,jmeter并发执行任务,约40分钟后成功复现oom问题

 

四. 解决方案

init发生异常后手动调用connectClient的close方法,close方法会释放group(NioEventLoopGroup):

方案经过4小时的压测验证,无内存溢出问题,证明问题已解决:

【异常】记一下因分布式定时任务框架XXL-JOB中Cron表达式写错导致的OOM问题
本本本添哥
01-06 1519
记一下因XXL-JOB Cron写错导致的OOM问题
深入剖析 MetaSpace OOM 问题：根因分析与高效解决策略
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
03-18 12万+
MetaSpace区是JVM内存管理中的关键部分，负责存储类元数据。随着Java 8的推出，MetaSpace取代了PermGen区，但其灵活性也带来了新的挑战，尤其是在动态类加载和频繁类更新的场景下，容易导致MetaSpace内存溢出（OOM）问题。本文探讨了MetaSpace OOM的根本原因，包括类加载器泄漏、内存管理不当和GC效率低下等，并提供了一系列调优策略和解决方案，帮助开发者有效排查和防止此类问题的发生，确保应用程序的稳定性和高可用性。
生产环境服务OOM问题解决
a904198604的博客
02-19 976
生产环境服务OOM问题解决 起因：项目是由外包商为主自主开发为辅的一个项目，在定时任务这个服务中，自主开发定时任务仅有3个，后续关闭一个后，仅剩2个任务为我们自主开发的内容，而该服务自2021年1月15日后就反复出现OOM服务异常挂掉的问题，本文章仅做记录与学习内容。 一、相关数据 定时任务服务-executor（后续简称exe服务），通过XXL-JOB的日常跟踪可以得知该服务集群每日处理定时任务约为2W。 jvm 参数如下： java -javaagent:/opt/agent/skywalking
解密Netty高性能之谜：NioEventLoop线程池阻塞分析与调优策略
禅与计算机程序设计的艺术
02-02 1139
耗时操作不要用，尤其是本次这种高并发且拒绝策略配置为用执行线程接收忙碌任务的方式。服务端收不到消息时，建议优先从CPU、GC、线程等角度分析问题。服务端开发时建议使用两个构成主从Reactor模式，并结合业务场景压测出合适的线程数。我是sharkchili优快云 Java 领域博客专家mini-redis的作者，我想写一些有意思的东西，希望对你有帮助，如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号：写代码的SharkChili。
[Netty源码] NioEventLoop相关问题 (四)
959
03-30 511
[Netty源码] NioEventLoop相关问题 (四), NioEventLoop的创建, 启动, 运行逻辑, 以及空轮询bug的解决方法, 如何异步串行无锁化等问题的解决方法
xxl-job导致容器OOM
bobo哥写字的地方
01-10 3227
部署在容器中的一些Java程序每个月都会有1次由于超过容器的限制内存大小，被cgroup杀掉。究竟是什么原因呢？
堆外内存 OOM：现象分析与优化方案
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
03-30 12万+
本文分析了 Java 中堆外内存泄漏及其引发的 OOM 问题，重点讨论了主动申请未释放和 JNI 调用未释放的两大原因。提供了排查策略，如启用 Native Memory Tracking（NMT）和监控堆外内存使用。并提出了优化方案，包括合理管理堆外内存、设置内存限制及定期监控，帮助避免内存泄漏对系统性能的影响。
Java中内存不足错误（OOM）的解决方法
最新发布
shejizuopin的博客
05-08 2295
监控与告警使用Prometheus+Grafana监控堆内存、GC日志和线程数，设置阈值告警。代码审查避免静态集合、未关闭的资源（如）和超大对象。JVM配置（适合大堆内存）压力测试使用JMeter或Gatling模拟高并发场景，验证内存稳定性。第三方库检查确保使用的库（如Hibernate、Spring）无内存泄漏问题。OOM问题的核心在于内存使用与回收的失衡。通过堆转储分析、GC日志监控、代码优化和JVM配置调整，开发者可以有效避免堆内存溢出、GC开销限制、元空间溢出等问题。
Groovy大量计算导致oom的解决办法
05-27
问题原因分析：使用ScriptEngine.eval每次都会对脚本进行编译，生成一个新的类，被GroovyClassLoader加载，大量执行计算后，将导致被加载的类数量不断增加，最终OOM。 解决办法：对计算的表达式expression进行预...
java.lang.NoClassDefFoundError: io/netty/channel/EventLoopGroup at com.xxl.job.core.server.EmbedServ
liqingjiea的博客
03-11 730
解决方案：根据红框位置在POM文件中添加依赖。
Netty之EventLoopGroup详解
前者已逝，后者未至。
02-11 2742
了解io.netty.channel.nio.NioEventLoopGroup和io.netty.channel.DefaultEventLoop的区别。 掌握EventLoopGroup如何实现对内部EventLoop的轮询，以及EventLoop对普通任务和定时任务的实现方法。 划分EventLoopGroup职责，指定EventLoopGroup操作ChannelHandler。
自建的Spring项目集成xxl-job的过程中遇到的问题
jianxing11的专栏
04-20 1193
自建的Spring项目集成xxl-job，按照网上的例子，或者xxl-job官网源码中的例子完成，这里不做赘述。 在集成过程中遇到的问题，罗列如下： 问题1、将自建的Spring项目改造成executor的过程中，报错java.lang.ClassNotFoundException: io.netty.channel.EventLoopGroup。 截图如下： 原因分析：自建的Spring项目中原本就集成了极光推送Jpush或其他的client，这些client中netty的版本低于xxl-jo
Netty Review - NioEventLoopGroup源码解析
小工匠
02-12 8095
这段代码是在使用Netty框架时常见的用法，用于创建两个不同的实例，一个用于处理连接请求（通常称为bossGroup），另一个用于处理连接后的数据流（通常称为workerGroup）。是Netty中用于处理NIO事件的的实现之一。在Netty中，事件循环（EventLoop）是Netty的核心，负责处理各种事件，比如接收连接、读取数据、写入数据等。其主要功能和构造函数参数的含义：第一个构造函数参数表示创建的EventLoop的数量。
xxl-job源码阅读——（八）BIO，NIO与xxl-job的Reactor实现
D的博客
01-21 1074
什么是BIO，NIO，IO多路复用？xxl-job如何通过Netty实现一个通信服务
xxl-job调度执行器的端口被外部频繁访问造成的错误
qq_25933841的博客
05-17 8637
xxl-job调度执行器的端口被外部频繁访问造成的错误如下: [2020-05-16 16:52:54.996][ERROR][][nioEventLoopGroup-5-5][c.x.j.c.server.EmbedServer$EmbedHttpServerHandler] - >>>>>>>>>>> xxl-job provider netty_http server caught exception java.io.IOExcep
Netty（九）源码解析 之 NioEventLoop 任务的执行
语雀同名：犬豪 yuque.com/qhao
08-16 769
NioEventLoop 任务的执行 今天跟核心方法，关于任务的处理 下面是EventLoop第一次执行execute方法的时候，会触发的逻辑，会执行一个核心Runnable任务，该任务会进行selector的选择，然后处理三类任务，以及I/O就绪事件： 注册、绑定端口、为NioServerChannel的pipline添加连接处理器等任务都会放到任务队列taskQueue，这是一类 还有一类是定时任务，但是定时任务的处理只要定时任务到了执行时间，也会放入taskQueue 第三类是收尾任务，会放到tai
使用xxl-job遇到的一些问题及总结
NY_Forever的博客
09-30 2万+
1.避免任务重复执行（官方文档给出的解决，其实老版本仍然会有重复调度的问题，使用quartz的版本） 调度密集或者耗时任务可能会导致任务阻塞，集群情况下调度组件小概率情况下会重复触发； 针对上述情况，可以通过结合 “单机路由策略（如：第一台、一致性哈希）” + “阻塞策略（如：单机串行、丢弃后续调度）” 来规避，最终避免任务重复执行。 2.分片任务：一个任务在多台服务器上同时都执行，降低任务处理时间，调度器会调用配置的所有机器 3.执行器用的端口和该执行器本身的端口没有关系，在启动时可以指定执行器端口，xx
DataX + xxl-job
allensandy的博客
12-01 5144
1、部署xx-job 官网：https://www.xuxueli.com/xxl-job/里面由详细的讲解 我用的版本： 安装docker mysql docker pull mysql:8.0.19 docker run -itd --name mysql-xxljob -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql mysql -u root -h 127.0.0.1 -P3306 -p 进行授权远程连接(注意mysql 8.0跟.
XXL-JOB executor 未授权访问漏洞
qq_59201520的博客
03-28 1万+
XXL-JOB executor 未授权访问漏洞的漏洞复现和一些理解思考以及复现过程中的问题和解决
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值