Java WebSocket导致的OOM（内存溢出）问题排查

线上工程OOM问题追踪：WebSocket协议引发的内存溢出解决方案
原创 已于 2023-09-05 14:35:39 修改 · 5k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #spring boot #tomcat

于 2023-08-30 14:37:48 首次发布
文章讲述了线上工程因WebSocket协议引发的内存溢出问题，通过MAT工具分析定位到HeapCharBuffer和messageBufferText。解决思路包括临时增加内存、产品层面限制ws链接数、超时管理以及运维层面的健康检查和自动重启服务。

1.问题背景

线上某个工程总是会出现OOM导致系统宕机

2.排查追踪

拿到dump文件使用MAT工具分析
Overview

在dominator_tree中，AbstractProtocol类占据了绝大部分堆内存
看到AbstractProtocol类猜测可能和协议有关，HTTP、TCP、SMTP、WebSocket等
在这里插入图片描述
继续展开，可以发现WsFrameServer的类占据了大部分堆内存，定位为WebSocket协议导致的内存溢出。
再继续展开，可以发现HeapCharBuffer占据了大部分的内存。
如果项目中只有一个ws功能则就可以定义到具体业务了，如果有多个功能模块涉及ws则需要根据ws地址确认功能。
在这里插入图片描述
通过requestUri可以查看到ws地址和请求ip
在这里插入图片描述
通过上面排查是messageBufferText过大且链接过多导致的内存溢出，查看messageBufferText大小约20MB，则需要搞明白下面的问题：

  • 20MB是否是初始化大小？
  • 如果不是初始化大小，在哪里被赋值/配置修改？
  • 如果是初始化大小，在哪里可以赋值/配置修改？

那就需要查看源码分析messageBufferText是怎么初始化大小的。

首先找到了WsFrameServer类，发现messageBufferText是WsFrameServer父类WsFrameBase的成员变量
图片描述
WsFrameBase类
在这里插入图片描述
查看messageBufferText初始化：
CharBuffer.allocate静态方法创建CharBuffer的对象，其中会初始化一个大小为getMaxTextMessageBufferSize的Char类型的数组。
下面主要看wsSession.getMaxTextMessageBufferSize()方法
在这里插入图片描述
wsSession.getMaxTextMessageBufferSize()可以看到获取的是maxTextMessageBufferSize的数值
在这里插入图片描述
查看maxTextMessageBufferSize赋值
有一个默认值是8K，显然与想要的20MB差距比较大，继续看哪里有赋值了
在这里插入图片描述
wsSession.setMaxTextMessageBufferSize()
在这里插入图片描述
查看setMaxTextMessageBufferSize方法的调用
在这里插入图片描述
在代码实现里增加了这个配置，由于char类型占两个字节，1010241024*2 约 20MB，所以这个就是原因
在这里插入图片描述
不过我们继续看另外一个调用PojoMessageHandlerWholeText
在这里插入图片描述
往下追踪发现默认是-1，注解OnMessage的maxMessageSize字段获取值。
在这里插入图片描述

3. 解决思路

  1. 临时解决： 现场临时增加内存分配空间
    ps：默认情况下，-Xms是物理内存的1/64，-Xmx是物理内存的1/4
  2. message初始值大小： 统计ws的maxTextMessageBufferSize大小，设置合理的数值，或考虑压缩message大小。
  3. 产品层面： 问题同步至产品，从产品层面优化。
    如：从根据可用内存对ws链接数做最大限制
  4. 服务优化：
    如：由于在项目中ws是长链接，及时释放不再使用的WebSocket链接（超时）、同一个ip和ws地址使用同一个链接
    超时功能：项目中使用nginx，可以在nginx中增加超时配置proxy_read_timeout
  5. 运维层面： 增加健康检查对于意外崩溃自动重启服务
csdn_halon
关注
WebSocket高并发客户端连接内存溢出问题分析与解决指南
m0_67771208的博客
06-20 1914
通过合理设计连接管理策略（心跳检测、自动清理）、优化数据存储结构（对象复用、压缩传输）、采用异步非阻塞IO模型，结合监控告警体系，可有效预防WebSocket高并发场景下的内存溢出问题。建议在项目早期即进行容量规划与压力测试，避免线上环境出现严重故障。延伸阅读《Netty in Action》第11章 WebSocket优化Spring官方文档：WebSocket Scaling Strategies。
websocket 解决消息超过8192b 断开连接问题
08-04 6097
问题场景： 服务端创建websocket客户端去连接其他websocket服务，发现接收到的文本很大的时候会自动断开连接，直接执行onClose()方法。 原因分析： The default buffer size for text messages is 8192 bytes. This may be changed for a web application by setting the servlet context initialization parameter org.apache....
为什么你的C++ WebSocket服务扛不住高并发？这4个瓶颈90%开发者都忽略了
最新发布
CompiShoal的博客
10-23 296
解决高并发瓶颈，提升C++ WebSocket开发效率。揭秘连接管理、线程模型、内存池优化与异步IO四大关键点，适用于实时通信、在线游戏等场景。掌握这些核心技巧，轻松应对百万级并发，服务稳定性和性能大幅提升，值得收藏。
Websocket内存溢出
Lee_01的博客
08-09 3639
maxMessageSize设置太大，减少到合适的大小即可
【WebSocket】---- Spring Boot 3 整合 WebSocket 入门到精通、到实战、到原理
记录生活
08-27 748
本文全面介绍了Spring Boot 3整合WebSocket的完整流程，从基础原理到实战应用。主要内容包括：WebSocket全双工通信机制的优势；项目环境配置与核心依赖；WebSocket配置类详解（STOMP协议端点注册与消息代理配置）；使用Lombok简化实体类开发；消息处理器实现广播与点对点通信；用户认证集成；前端连接示例；以及性能优化与常见问题解决方案。文章通过规范的代码注解和分层设计，为开发者提供了从入门到精通的WebSocket集成指南，适合构建实时聊天、通知推送等应用场景。
记一次Spring Websocket后台服务器CPU占用率过高的问题排查过程
Stay Hungry, Stay Foolish
07-14 1万+
背景 最近在做Spring Websocket后台程序的压力测试，但是当并发数目在10个左右时，服务器的CPU使用率一直在160%+，出现这个问题后，一开始很纳闷，虽然服务器配置很低，但也不至于只有10个并发吧。。服务器的主要配置如下： CPU：2核 Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz 内存：4GB 使用top命令查看资源占用情况，发现pi...
[JAVA]websocket引起的内存泄漏问题排查
weixin_52157994的博客
03-28 6963
虽然和C++不同的是，JAVA拥有独特的垃圾回收机制，程序员可以较少的担忧资源回收的问题，但是这种机制并不可能100%防止内存泄漏，一些难以察觉的代码实现或是配置都可能会造成这种机制失效，例如JAVA拥有多种不通强度的引用关系，例如强引用（strong reference），弱引用（weak reference），软引用（soft reference）和虚引用（phantom reference）。的错误，造成系统宕机。需要注意的是，最新版本需要JDK11支持，推荐下载1.7.0版本，只需要JDK8即可。
jetty9 websocket发送消息死锁，引发内存溢出
愤怒的菜鸟
07-09 4423
最近在做一个金融项目，做了一个网关，用来对接各种终端，长连接不断推送期货行情。（jetty9 websocket） 长连接的方案采用websocket，上线前，做单个终端的压力测试，传输数百万数据，跑了10多小时，一切正常。但是上线后，发现时间不规则的内存溢出，有时可能4天就死了，有时半天就死了，甚是郁闷。 dump出内存堆，使用mat分析，很容易看到byte[]非常大，占60
websocket导致内存溢出
weixin_43254676的博客
05-24 1万+
在无法连接webSocket时，控制台报错，内存溢出 检查代码，发现是由于不断重连导致的内存溢出 解决办法： https://www.jianshu.com/p/5297732db7f2
内存泄漏与内存溢出
03-12
软件开发 数据库 内存泄露 内存溢出
WebSocket入门教程（四）-- WebSocket实例：实时获取服务器内存使用情况（优化一）
06-06
WebSocket入门教程（四）-- WebSocket实例：实时获取服务器内存使用情况（优化一）详解：http://blog.youkuaiyun.com/u010136741/article/details/51590619
WebSocket入门教程（三）- WebSocket实例：实时获取服务器内存使用情况
06-06
WebSocket入门教程（三）-- WebSocket实例：实时获取服务器内存使用情况, 详解：http://blog.youkuaiyun.com/u010136741/article/details/51581298
java堆外内存溢出_记一次堆外内存泄漏排查过程
weixin_29533307的博客
02-25 2188
本文涉及以下内容开启NMT查看JVM内存使用情况通过pmap命令查看进程物理内存使用情况smaps查看进程内存地址gdb命令dump内存块背景最近收到运维反馈，说有项目的一个节点的RSS已经是Xmx的两倍多了，因为是ECS机器所以项目可以一直运行，幸亏机器内存充足，不然就可能影响到其他应用了。排查问题通过跳板机登录到目标机器，执行top命令，再按c，看到对应的进程所占用的RES有8个多G(这里当时...
一次netty 堆外内存泄露排查
sixi7762的博客
06-25 1184
最近在做一个基于 websocket 的长连中间件，服务端使用实现了 socket.io 协议（基于websocket协议，提供长轮询降级能力） 的 netty-socketio 框架，该框架为 netty 实现，鉴于本人对 netty 比较熟，并且对比同样实现了 socket.io 协议的其他框架，这个框架的口碑要更好一些，因此选择这个框架作为底层核心。任何开源框架都避免不了 bug 的存在，我们在使用这个开源框架的时候，就遇到一个堆外内存泄露的 bug，鉴于对 netty 比较熟，于是接下来便想挑战一下
记一次kubernetes中springboot服务pod oom问题排解
后厂村老司机
06-21 902
背景 我们的springboot项目是通过k8s部署的，我们使用了G1垃圾回收器作为jvm的垃圾回收器，同时也配置了如下的各种应对jvm oom崩溃时的参数；在服务上线的一周左右时间，我们发现这个服务出现了oom重启，于是开启了我漫长的问题追踪过程； -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:InitiatingHeapOccupancyPercent=4...
记一次springboot项目k8s pod异常oom问题解决
后厂村老司机
06-21 1801
背景 我们的springboot项目是通过k8s部署的，我们使用了G1垃圾回收器作为jvm的垃圾回收器，同时也配置了如下的各种应对jvm oom崩溃时的参数；在服务上线的一周左右时间，我们发现这个服务出现了oom重启，于是开启了我漫长的问题追踪过程； -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:InitiatingHeapOccupancyPercent=4...
ESP32内存管理生死线：彻底解决WebSocket缓冲区溢出的6大防护机制
ESP32内存管理与WebSocket溢出问题的本质解析 ## 1.1 内存资源受限场景下的通信隐患根源 在ESP32这类嵌入式系统中，内存总量有限（通常仅数百KB），而WebSocket协议默认采用全双工长连接模式，持续收发数据极易...
java: web应用中不经意的内存泄露
lmrylll的博客
04-21 787
b) 在启动的执行逻辑中，不要使用阻塞线程的操作（比如：Thread.sleep之类的方法），否则部署时，实际上代码已经在后台执行了，jboss管理控制台上，一直处于部署中的状态，也没有任何输出，让人一头雾水，折腾半天才能定位错误，很浪费时间，如果是线上生产环境，是要粗事情的。正式部署到jboss上以后，问题来了，在jboss管理控制台上，把这个应用给disable甚至remove后，日志里仍然不断有上面的类似输出，即app的实例仍然活着，其start方法也始终在运行，换句话说，app并没有被销毁。
websocket影响内存泄漏的两个点
热门推荐
zero_rui.zhang的博客
03-25 1万+
前段时间一直遇到websocket的内存溢出问题，最后在排除了代码的问题之后，开始查找了框架的问题，最后找到了两个框架会影响到的坑，mark一下，顺便分享给大家首先说项目：springboot的内置tomcat启动，用的websocket是tomcat内核，spring封装。现象：启动项目后使用的时候cpu使用率不断增加达到99%，最后长时间运行由于CPU过高，导致无法访问最后报出OOM。使用js...
.NET8 WebSocket 长连接内存溢出优化方案
06-06
<think>我们正在讨论的是在.NET8中优化WebSocket长连接以避免内存溢出的解决方案。考虑到WebSocket长连接可能面临的内存问题，主要原因是连接长时间保持，可能导致积累大量未释放的资源（如未处理的字符串、未重用的缓冲区、未及时取消注册的事件处理器等），进而导致内存泄漏。参考用户提供的引用虽然不直接相关，但我们可以借鉴其中提到的缓存和优化思想。例如，引用[1]提到的高性能缓存库，我们可以考虑在WebSocket应用中合理使用缓存来重用资源；引用[2]提到超时设置，我们可以设置合适的超时来断开长时间空闲的连接；引用[3]提到优化求解器，虽然不直接相关，但提醒我们可以从资源调度的角度优化。结合.NET8的特性，以下是一些优化方案：1.**使用ArrayPool和MemoryPool来重用缓冲区**：每次接收数据时，从池中租用缓冲区，使用完毕后归还，避免频繁分配内存。2.**及时清理事件处理程序**：如果WebSocket连接的事件处理程序没有被正确移除，会导致对象无法被回收。确保在连接关闭时移除所有事件处理程序。3.**设置合理的连接超时**：通过设置KeepAliveInterval（在WebSocketOptions中）和CloseTimeout，确保空闲连接能够及时关闭。同时，服务器端可以设置一个最大连接时长，强制关闭长时间连接的客户端（例如，每天重新连接一次）。4.**使用CancellationToken来取消操作**：在长时间接收消息时，使用CancellationToken可以及时取消操作，释放相关资源。5.**监控内存使用和连接状态**：使用性能计数器或内存分析工具（如dotMemory，VisualStudio的内存诊断工具）来检测内存泄漏，定位问题。6.**限制并发连接数**：设置最大并发连接数，防止过多的连接导致内存压力。在.NET8中，可以通过配置Kestrel服务器的MaxConcurrentConnections来限制。7.**避免在WebSocket会话中保存大对象**：尽量减少会话状态，如果必须保存，考虑使用外部存储（如数据库、分布式缓存）而不是内存。8.**使用WebSocketFactory进行连接管理**：通过工厂模式统一管理WebSocket连接的生命周期，便于统一释放资源。9.**采用分片传输和消息压缩**：对于大消息，分片传输避免一次分配大块内存，压缩可以减小内存占用。示例代码（设置WebSocket选项）：```csharpvarbuilder=WebApplication.CreateBuilder(args);builder.WebHost.ConfigureKestrel(serverOptions=>{serverOptions.Limits.MaxConcurrentConnections=100;//限制最大并发连接数});varapp=builder.Build();app.UseWebSockets(newWebSocketOptions{KeepAliveInterval=TimeSpan.FromMinutes(2),//保持活动消息间隔，以关闭空闲连接CloseTimeout=TimeSpan.FromSeconds(30)//关闭超时});//...中间件处理WebSocket请求...```另外，对于长时间运行的WebSocket连接，可以考虑使用后台服务（如ASP.NETCore中的IHostedService）来管理，在服务关闭时清理所有连接。如果问题依然存在，可以使用GC.Collect()进行强制垃圾回收（仅用于诊断，不推荐生产环境）来观察内存是否下降，从而判断是否为托管内存泄漏还是非托管资源泄漏。最后，注意在.NET8中，ASP.NETCore框架已经对WebSocket进行了一些优化，但仍然需要开发者注意资源管理。相关问题：1.在.NET8中如何检测WebSocket应用的内存泄漏？2.WebSocket的KeepAliveInterval设置多少比较合适？3.如何处理WebSocket连接中的异常以避免内存泄漏？4.在WebSocket应用中如何实现优雅的关闭连接？5.在WebSocket应用中如何使用缓存策略？6.如何对WebSocket应用进行压力测试以发现内存问题？7..NET8中WebSocket与之前版本有什么性能改进？8.如何在WebSocket应用中有效管理大对象？9.在WebSocket连接中如何避免非托管内存泄漏？</think> ### .NET 8 WebSocket长连接内存泄漏优化方案 在.NET 8中优化WebSocket长连接内存泄漏，可通过以下方案实现： 1. **缓冲区管理优化** - 使用`ArrayPool<byte>`重用内存缓冲区： ```csharp var buffer = ArrayPool<byte>.Shared.Rent(4096); try { var receiveResult = await webSocket.ReceiveAsync(buffer, cancellationToken); // 处理数据... } finally { ArrayPool<byte>.Shared.Return(buffer); } ``` - 避免频繁分配新数组，减少GC压力[^1] 2. **连接生命周期控制** - 设置双重超时机制： ```csharp var webSocketOptions = new WebSocketOptions { KeepAliveInterval = TimeSpan.FromSeconds(30), // 心跳检测 CloseTimeout = TimeSpan.FromSeconds(10) // 关闭超时 }; ``` - 实现空闲连接检测（15分钟无活动自动断开） 3. **对象池化技术** - 对`WebSocket`相关对象建立池化管理： ```csharp public class WebSocketPool { private readonly ConcurrentBag<WebSocket> _pool = new(); public WebSocket Get() => _pool.TryTake(out var ws) ? ws : new WebSocket(); public void Return(WebSocket ws) => _pool.Add(ws); } ``` - 降低对象创建/销毁频率[^2] 4. **消息队列分级控制** - 实现消息优先级队列： ```csharp var priorityQueue = new PriorityQueue<Message, int>(); // 高优先级消息（如控制指令）优先处理 priorityQueue.Enqueue(msg, (int)msg.Priority); ``` - 防止低优先级消息积压导致内存膨胀 5. **内存监控与熔断** ```csharp var process = Process.GetCurrentProcess(); if (process.PrivateMemorySize64 > 100_000_000) { // 100MB阈值 await _webSocket.CloseAsync(WebSocketCloseStatus.InternalServerError, "Memory overflow", CancellationToken.None); } ``` - 通过环境监控动态调整连接数[^3] 6. **异步回调优化** - 确保正确处理CompletionTask： ```csharp webSocket.CloseAsync().ContinueWith(t => { if (t.IsFaulted) LogError(t.Exception); webSocket.Dispose(); // 显式释放资源 }, TaskScheduler.Default); ``` - 避免因未完成的任务保留对象引用 7. **日志与诊断** - 启用.NET 8内置内存分析器： ```bash dotnet counters monitor --process-id PID System.Runtime Microsoft.AspNetCore.Http.Connections ``` - 实时监控WebSocket内存使用情况 --- **内存泄漏检测建议**： 1. 使用`dotMemory`或Visual Studio内存分析器 2. 重点关注： - 未被释放的`byte[]`数组 - `CancellationTokenSource`堆积 - 意外延长的对象生命周期 3. 模拟高负载压力测试（使用`websocket-stress-test`工具）
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值