Netty短时间内大量写消息导致的内存问题

最新推荐文章于 2024-12-29 23:45:27 发布
最新推荐文章于 2024-12-29 23:45:27 发布
阅读量963 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： netty 文章标签： java netty
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lixia0417mul2/article/details/106975147
探讨了在使用Netty服务器作为游戏服务器时，因业务线程过多导致直接内存溢出，进而使用到swap内存空间的问题。分析了问题原因在于业务线程与workerIO线程数量失衡，消息堆积，提出增加workerIO线程、扩充内存及限制队列容量等解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.简化场景： 使用netty服务器作为游戏服务器，100个业务写线程，cpu核心个netty worker Io读写线程，在某个时刻，发现某台机器内存被耗尽，使用到了swap 交换空间

问题： 为何那个时刻直接内存被耗尽，导致使用到了swap内存空间

答案：线下复现发现，当最极端100个业务线程全部用来向channel写消息的时候，这些消息(通过直接内存申请的消息)进入到了netty worker IO线程的队列里面，等待IO线程进行网络IO，由于这个业务线程的数量远大于worker IO线程的数量，造成消息堆积在worker IO线程的队列中，不断积累，自然直接内存就溢出了

解决方案： 1.增加worker IO线程的数量，2.增加机器内存数量让他能够应付峰值 3.限制worker IO队列最大的容量，大于这个容量的消息直接拒绝(影响业务，不推荐)

netty中的ServerBootstrap详解
技术人集结地
04-05 304
是 Netty 服务端启动的核心引导类，属于的子类，专门用于配置和启动服务端应用。线程模型管理：通过设置主（BossGroup）和子（）线程组，分别处理连接请求和 I/O 事件。通道初始化：指定服务端通道类型（如），并配置网络参数（如SO_BACKLOG处理器链构建：为每个新建立的连接定义业务逻辑处理链（Pipeline），包括编解码器、自定义 Handler 等。ServerBootstrap 是 Netty 服务端开发的基石，通过灵活的配置和高效的线程模型，支持构建高并发、低延迟的网络应用。
压测 服务器内存缓慢上涨_程序员撕开京东 618 大促压测的另一面 | 原力计划
weixin_42164534的博客
01-17 450
作者 | 天涯泪小武责编 | 王晓曼出品 | 优快云博客前天618大促演练进行了全链路压测，在此之前刚好我的热key探测框架也已经上线灰度一周了，小范围上线了几千台服务器，每秒大概接收几千个key探测，每天大概几亿左右，因为量很小，所以框架表现稳定。借着这次压测，刚好可以检验一下热key框架在大流量时的表现。毕竟作为一个新的中间件，里面很多东西还是第一次用，免不得会出一些问题。压测期，我没有去扩...
Netty消息接收类故障案例分析
cpongo011702
08-18 569
《Netty 进阶之路》、《分布式服务框架原理与实践》作者李林锋深入剖析Netty消息接收类故障案例。李林锋此后还将在 InfoQ 上开设 Netty 专题持续出稿，感兴趣的同学可以持续关注。1. 背景1.1 消息接收类故障尽管Netty应用广泛，非常成熟，但是由于对Netty底层机制不太了解，用户在实际使用中还是会经常遇到各种问题，大部分问题都是业务使用不当导致的。Netty使用者需要学习Net...
Netty-发送队列积压导致内存泄漏
MarchRS的博客
01-14 3084
导致Netty内存泄漏的原因很多，如使用内存池方式创建的对象忘记释放，或者系统处理压力过大导致发送队列积压，尽管Netty采用NIO非阻塞通信，I/O处理往往不会成为业务瓶颈，但如果客户端并发压力过大，超过了服务端处理能力，又没有流控保护，则容易发生内存泄漏    高并发故障场景    内存泄漏原因分析   &n...
Netty框架问题记录1--多线程下批量发送消息导致消息被覆盖
Lee_0202的博客
07-29 1164
业务背景 项目是基于Netty实现的实时课堂项目，课堂中老师需要对试卷进行讲解，则老师向服务器发送一个打开试卷信息的请求，服务器获取试卷信息，将试卷信息发送给所有的客户端（学生和老师）。 发送给学生的时候需要在试卷信息中加上本人得分的信息。 实现方式大致如下： 1 Paper paper = getPaper(paperId); // 根据试卷ID获取试卷详细信息 2 f...
Netty的 Client 和 Server 的处理效率差异 造成内存溢出
qq_40592484的博客
05-21 714
TCP 协议 tcp是一个面向流的协议 当两端的流动速度 不一致的时候 ,就会出现 某一方的宕机 故障场景 这是一个 Client 不断向服务端发送数据的例子 public class LoadRunnerSleepClientHandler extends ChannelInboundHandlerAdapter { static final int SIZE = Integer.parseInt(System.getProperty("size", "10240")); private
记一次 Netty 堆外内存溢出故障
JWJ292065332的博客
01-20 3196
记一次 Netty 堆外内存溢出故障
一次非典型的Netty内存泄露案例复盘
zhaoenweiex的博客
01-15 1665
作为后端开发相信大家或多或少都接触过Nettty，说起Netty真实又爱又恨，因为基于它可以很简单的开发高性能的Java网络通信服务，但同时要是不小心就会出现各种奇奇怪怪的问题，特别是由于特殊的内存管理机制很容易出现内存泄漏问题即OOM问题
一次netty 堆外内存泄露排查
sixi7762的博客
06-25 1140
最近在做一个基于 websocket 的长连中间件，服务端使用实现了 socket.io 协议（基于websocket协议，提供长轮询降级能力） 的 netty-socketio 框架，该框架为 netty 实现，鉴于本人对 netty 比较熟，并且对比同样实现了 socket.io 协议的其他框架，这个框架的口碑要更好一些，因此选择这个框架作为底层核心。任何开源框架都避免不了 bug 的存在，我们在使用这个开源框架的时候，就遇到一个堆外内存泄露的 bug，鉴于对 netty 比较熟，于是接下来便想挑战一下
Netty
最新发布
12-29 1139
粘包问题是指发送方发送的多个数据包在接收方被合并成一个数据包接收。粘包问题通常发生在发送方发送的数据包较小且频繁的情况下。比如发送方发送了两个数据包A和B，数据包A的内容是"Hello"，数据包B的内容是"World"。由于TCP是基于字节流的协议，接收方可能会将这两个数据包合并成一个数据包接收，内容为"HelloWorld"。粘包问题的原因主要有两个：1.发送方发送的数据包较小且频繁：当发送方发送的数据包较小且频繁时，TCP可能会将多个数据包合并成一个数据包发送，导致接收方接收到合并的数据包。
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
张彦峰的博客
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
netty进行实时通信消息过多导致带宽占用过高
ZHOU_0522的博客
09-06 647
netty进行实时通信消息过多导致带宽占用过高,带宽占用过高通常是由于网络通信中的消息频繁发送或者消息体过大引起的
Netty 运行一段时间后读不到数据，消息积压解决方法，适合初学者。
qq_37669467的博客
10-23 4165
要解决 Netty 运行一段时间后读不到数据的问题，需要从多个方面进行排查，包括网络、配置、缓冲区、连接状态、超时设置和数据处理逻辑等。通过调整合适的参数和检查代码逻辑，可以解决该问题。
解决Netty消息超长导致拆成多条消息（拆包）
分享技术，记录问题，努力学习
08-24 3750
解决Netty消息超长导致拆成多条消息（拆包） 遇到问题的场景 问题的起源是因为帮朋友用socket做一个消息中转，然后就发现了他每次发送的消息都特别长导致channelread会读到多次，最开始图了省事手动去处理的拆包（这种比较恶心，要协定好消息的前缀和后缀才能去灵活的拼接消息，代码写起来也比较恶心，但是好在可以实现），然后研究了一下正常的解决方案，自定义协议 解决问题 首先双方需要协商一下协议...
netyy EventExecutorGroup 业务线程
iteye_19069的博客
03-28 1899
Netty作为一个异步非阻塞式的框架，是不允许在ChannelHandler中长时间处理事务（比如数据库的操作），阻塞I／O的读写处理的。 在Netty in Action中是这样描述的： While the I/O thread must not be blocked at all, thus prohibiting any direct blocking operations with...
netty缓存引起的堆内存使用率过高
m1f2c3的专栏
11-22 1832
问题现象 原因 解决方案 方案一：重启应用。这个方案治标不治本。重启应用的过程中可能会遇到一些问题，可以参考：jdos应用重启提示“jsf部分标识上线”。 方案二：既然是netty缓存造成的问题，禁用缓存就可以了。 方案三：配置gc参数 -XX:+UseConcMarkSweepGC //开启cms gc -XX:CMSInitiatingOccupancyFraction=80 //老年代占用80%时进行full gc -XX:+UseCMSInitiatingOccupancyOnly //让cms
Elasticsearch Springboot2开发环境下客户端Netty连接占用过多byte[]类型内存问题解决方法
k446804791的博客
11-22 1726
这几天使用elasticsearch构建全文检索服务时，在开发查询接口的时候，内存监控发现应用启动后会占用大量堆内存空间，即使手动GC后，发现内存仍然居高不下。 本来应用在开发阶段本地运行测试时是不手动添加内存上限的，但是当手动限制内存上限（-Xmx）的时候，发现如果分配的最大内存小1G时，经常会出现调用查询的时候应用发出OOM错误。查看内存Dump信息了解到其大量byte类型占据内存中，并被Ne...
Netty堆积泄露问题
weixin_30312557的博客
03-20 93
123 转载于:https://www.cnblogs.com/zemliu/p/3614359.html
Java实现的netty时间轮高效调度机制
- **多线程安全**：在多线程环境下，确保时间轮的线程安全，避免并发导致的问题。 - **扩展性考虑**：设计灵活，支持定时任务的动态添加、删除、修改等操作。 ### 结语 在本项目“时间轮Java代码”中，通过基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值