使用netty遇到的内存泄露的问题

最新推荐文章于 2023-04-23 09:28:34 发布
原创 最新推荐文章于 2023-04-23 09:28:34 发布 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#netty

本文分享了一次解决Netty项目中内存泄漏问题的经验。作者最初使用SimpleChannelInboundHandler时遭遇了内存泄漏，通过深入研究发现是由于该类自动释放buffer导致的。更换为ChannelInboundHandlerAdapter并手动调用release后，问题得以解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上个项目用的netty，刚开始项目上线的时候隔一段时间会遇到内存泄露的问题，检查了很久代码，该优化的都优化了，总是没发现问题，也加了日志追踪，就是发现不了问题，偶尔看到一篇文章介绍ServerHanderl继承的类，然后自己查找资料才发现就是这里的问题，我是继承的SimpleChannelInboundHandler这个类，这个类的特点就是会自动释放buffer,然后在后面异步使用buffer的时候已经被释放了就出错了，然后我换了ChannelInboundHandlerAdapter这个类，然后在使用完后手动调用了release，再也没出过错了，时记录一下

【netty】Netty堆外内存泄露排查盛宴
九师兄
10-13 1304
遇到堆外内存泄露不要怕，仔细耐心分析，总能找到思路，要多看日志，多分析。如果使用了 Netty 堆外内存，那么可以自行监控堆外内存的使用情况，不需要借助第三方工具，我们是使用的“反射”拿到的堆外内存的情况。逐渐缩小范围，直到 Bug 被找到。当我们确认某个线程的执行带来 Bug 时，可单步执行，可二分执行，定位到某行代码之后，跟到这段代码，然后继续单步执行或者二分的方式来定位最终出 Bug 的代码。这个方法屡试不爽，最后总能找到想要的 Bug。
Netty学习18-防止Netty内存泄漏
Pasto的博客
01-12 508
学习第42节 Netty 内存泄漏的现象： • 原因：“忘记”release ByteBuf buffer = ctx.alloc().buffer(); buffer.release() / ReferenceCountUtil.release(buffer) • 后果：资源未释放 -> OOM • 堆外：未 free（PlatformDependent.freeDirectBuffer(buffer)）； • 池化：未归还 （recyclerHandle.recycle(this)） Netty
一次非典型的Netty内存泄露案例复盘
zhaoenweiex的博客
01-15 1668
作为后端开发相信大家或多或少都接触过Nettty，说起Netty真实又爱又恨，因为基于它可以很简单的开发高性能的Java网络通信服务，但同时要是不小心就会出现各种奇奇怪怪的问题，特别是由于特殊的内存管理机制很容易出现内存泄漏问题即OOM问题
Netty内存泄露
tang_world的博客
03-05 3411
1.背景 1.1 直播平台内存泄漏问题 某直播平台，一些网红的直播间在业务高峰期，会有10W+的粉丝接入，如果瞬间发生大量客户端连接掉线、或者一些客户端网络比较慢，发现基于Netty构建的服务端内存会飙升，发生内存泄漏（OOM），导致直播卡顿、或者客户端接收不到服务端推送的消息，用户体验受到很大影响。 1.2 问题分析 首先对GC数据进行分析，发现老年代已满，发生多次FullGC，耗时达3分多，系统已经无法正常运行（示例）： 图 1 直播高峰期服务端 GC 统计...
【Netty官方文档翻译】引用计数对象（reference counted objects）
xcc的博客
02-10 903
原文出处：http://netty.io/wiki/reference-counted-objects.html 原文地址可能有变，且内容可能发生变化。 如果转载请注明出处，谢谢合作^_^。   自从Netty 4开始，对象的生命周期由它们的引用计数（reference counts）管理，而不是由垃圾收集器（garbage collector）管理了。ByteBuf是最值得注意的，它...
Netty4.1.6版本 内存泄漏问题以及解决方法
热门推荐
yanchangyufan的专栏
08-20 2万+
    最近在项目中遇到一个问题，是关于Netty4.1.6版本，在日志中打印以下错误消息， i.n.channel.DefaultChannelPipeline - An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handle...
一次netty 堆外内存泄露排查
sixi7762的博客
06-25 1146
最近在做一个基于 websocket 的长连中间件，服务端使用实现了 socket.io 协议（基于websocket协议，提供长轮询降级能力） 的 netty-socketio 框架，该框架为 netty 实现，鉴于本人对 netty 比较熟，并且对比同样实现了 socket.io 协议的其他框架，这个框架的口碑要更好一些，因此选择这个框架作为底层核心。任何开源框架都避免不了 bug 的存在，我们在使用这个开源框架的时候，就遇到一个堆外内存泄露的 bug，鉴于对 netty 比较熟，于是接下来便想挑战一下
详解SpringCloudGateway内存泄漏问题
08-18
但是在实际应用中，可能会遇到内存泄漏的问题，本文将详细介绍 Spring Cloud Gateway 内存泄漏问题的分析和解决方法。 内存泄漏问题的发现 在压力测试阶段，发现 Gateway 有内存泄漏问题，具体表现为：当启动一台 ...
Netty的ChannelPool导致内存泄漏的排查经历
Night Field' Blog
08-31 1564
背景 接到了线上机器的报警，登上服务器，发现是Java进程挂了，看日志报了OOM： java.lang.OutOfMemoryError: Java heap space 问题描述 内存溢出，那当然是看dump文件了。这里推荐大家在产线机器上都加上JVM参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={path}/{to}/{dump}，这样，JVM在OOM的时候，会自动做一个内存dump，相当于保存现场。 拿到dump文件，放到MAT里面分析，以下是
Netty堆外内存泄漏排查，这一篇全讲清楚了(转载)
weixin_41778440的博客
06-16 6483
Netty堆外内存泄漏排查，这一篇全讲清楚了(转载)
Netty堆外内存泄露排查盛宴
一个有情怀的程序猿博客
06-21 409
导读 Netty 是一个异步事件驱动的网络通信层框架，用于快速开发高可用高性能的服务端网络框架与客户端程序，它极大地简化了 TCP 和 UDP 套接字服务器等网络编程。 Netty 底层基于 JDK 的 NIO，我们为什么不直接基于 JDK 的 NIO 或者其他NIO框架： 使用 JDK 自带的 NIO 需要了解太多的概念，编程复杂。 Netty 底层 IO 模型随意切换，而这一切只需要做微小的改动。 Netty自带的拆包解包，异常检测等机制让我们从 NIO 的繁重细节中脱离出来，只需关心..
netty4虚拟内存不断飙升内存泄露
qq_22161527的博客
04-27 1743
netty4虚拟内存不断飙升 https://www.cnblogs.com/chyu/p/5212528.html https://zhuanlan.zhihu.com/p/84141912
长连接Netty服务内存泄漏，看我如何一步步捉“虫”解决 | 京东云技术团队
京东科技开发者
04-23 480
每次发生内存泄漏，内存快耗尽时，总得重启下，虽说重启是最快解决的方法，但是程序员是天生懒惰的，要数着日子来重启，那绝对不是一个优秀程序员的行为！问题必须彻底解决！
记一次Netty堆外内存溢出OutOfDirectMemoryError
pezynd的专栏
09-25 6378
netty网络通讯项目，内存溢出问题排查
Netty网络编程（四）：Event、Handler和Pipeline
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
01-16 5652
上一节我们讲解了netty中的Channel，知道了channel是事件处理器和外部联通的桥梁。今天本文将会详细讲解netty的剩下几个非常总要的部分Event、Handler和PipeLine。
Netty堆外内存泄露排查与总结
weixin_33860528的博客
10-19 1657
导读 Netty 是一个异步事件驱动的网络通信层框架，用于快速开发高可用高性能的服务端网络框架与客户端程序，它极大地简化了 TCP 和 UDP 套接字服务器等网络编程。 Netty 底层基于 JDK 的 NIO，我们为什么不直接基于 JDK 的 NIO 或者其他NIO框架： 使用 JDK 自带的 NIO 需要了解太多的概念，编程复杂。 Netty 底层 IO 模型随意切换，而这一切只需要做微小的...
netty内存泄露:failed to allocate 16777216 byte(s) of direct memory (used: 2181038080, max: 2192572416)
weixin_44329964的博客
08-11 5277
netty内存泄露
application.yml配置netty内存泄漏工具
最新发布
03-18
### Netty在Spring Boot中的内存泄漏解决方案 Netty 是一种高性能的网络通信框架，在 Spring Boot 中集成时可能会遇到一些潜在的内存泄漏问题。以下是针对 `application.yml` 文件中配置 Netty 的具体方法及其可能引发内存泄漏的原因分析和解决方案。 #### 1. 配置 Netty 参数 为了减少内存泄漏的风险，可以在 `application.yml` 文件中合理设置 Netty 的连接超时时间、最大线程数以及其他资源释放策略。以下是一个典型的配置示例： ```yaml server: port: 8080 netty: boss-loop-group-thread-count: 1 # Boss 线程组数量 worker-loop-group-thread-count: 2 # Worker 线程组数量 so-backlog: 128 # 连接队列大小 keep-alive: true # 是否保持长连接 tcp-nodelay: true # 是否启用 Nagle 算法优化 connect-timeout-millis: 5000 # 连接超时时间（毫秒） ``` 上述配置可以通过调整线程池的数量来降低因高并发带来的压力[^3]。同时，通过设置合理的超时时间和连接选项，能够有效防止未关闭的连接占用过多资源。 #### 2. 关闭无用 Channel 和 ByteBuf 对象 Netty 使用了基于事件驱动模型的设计理念，其中 `ByteBuf` 是核心的数据容器之一。如果程序未能显式释放这些对象，则可能导致严重的内存泄露现象。因此建议开发者遵循如下原则： - **及时回收资源**：当读取操作完成后应立即调用 `release()` 方法释放缓冲区实例； - **监听异常情况下的清理动作**：利用 `ChannelFutureListener` 或者自定义处理器拦截器完成必要的销毁逻辑。 例如下面这段代码展示了如何安全地处理消息并确保不会遗漏任何需要被释放的对象： ```java @Override public void channelRead(ChannelHandlerContext ctx, Object msg) { try { ByteBuf buffer = (ByteBuf)msg; String content = buffer.toString(CharsetUtil.UTF_8); System.out.println("Received message:" + content); } finally { ReferenceCountUtil.release(msg); // 确保每次接收的消息都被正确释放 } } ``` #### 3. 调整 JVM 堆外内存限制 除了应用层面上需要注意的地方之外，还需要关注运行环境本身对于堆外内存的支持程度。因为 Netty 默认情况下会分配大量的直接字节缓冲区（DirectByteBuffer），这并不受常规 GC 控制范围的影响。所以有必要根据实际需求适当增加 `-XX:MaxDirectMemorySize` 参数值以避免 OOM 错误发生。 比如启动脚本里加入这样的参数即可满足大部分场景的需求: ```bash -Dio.netty.leakDetectionLevel=advanced -Xmx512m -XX:+UseG1GC -XX:MaxDirectMemorySize=256M ``` 以上命令设置了更高级别的泄漏检测级别以便于定位潜在隐患；启用了 G1 收集算法提高垃圾收集效率；同时也明确了允许使用的最大堆外内存容量为 256MB。 --- ### 总结 通过对 Netty 组件的各项重要参数进行精细化调节，并严格把控每一个环节里的资源管理细节，就可以大幅度缓解甚至完全消除由它所引起的内存溢出风险。当然除此之外还应该定期监控系统状态指标变化趋势，从而做到提前预防而不是事后补救。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值