堆外内存泄露排查思路及案例分享

参考资料：

①使用mtrace追踪JVM堆外内存泄露

②一次Java内存占用高的排查案例

一、排查思路

获取内存泄露位置（详细命令见参考资料①）

1. 使用jna在Java代码中开启mtrace，追踪内存分配

2. 使用mtrace命令分析日志文件，获取内存泄露调用点

3. arthas查看内存泄露调用点的调用栈（可以直接使用调用点地址，不需要函数名）

获取内存泄露内容（详细命令见参考资料②）

1. 首次执行pmap命令，获取Java进程内存使用情况
2. 一段时间后内存上涨，再次执行pmap命令，获取Java进程内存使用情况
3. 使用文本对比工具对比前后两次pmap命令的输出
4. 转码查看新增内存的数据内容

二、案例分享

在线下压测一个服务，QPS较高时机器的nio.directbuffer区域占用的内存会发生突增，导致容器发生OOM。

使用上述的排查思路最终定位到是我们的RPC框架在directbuffer区域产生了大量的数据。实际上是QPS较高时，selector线程数较少，消费能力不足，导致directbuffer区域的request、response数据发生了积压。