java 堆外内存 查看_JAVA堆外内存排查小结

本文详述了一次针对Java服务堆外内存异常增长的排查过程,涉及pmap、gdb、perf等工具的使用,发现问题是由于GZIPInputStream未正确关闭导致的bzip内存泄漏。解决方案是确保及时关闭流以释放堆外内存。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

简介JVM堆外内存难排查但经常会出现问题,这可能是目前最全的JVM堆外内存排查思路。

通过本文,你应该了解:pmap 命令

gdb 命令

perf 命令

内存 RSS、VSZ的区别

java NMT

起因

这几天遇到一个比较奇怪的问题,觉得有必要和大家分享一下。我们的一个服务,运行在docker上,在某个版本之后,占用的内存开始增长,直到docker分配的内存上限,但是并不会OOM。版本的更改如下:升级了基础软件的版本

将docker的内存上限由4GB扩展到8GB

上上个版本的一项变动是使用了EhCache的Heap缓存

没有读文件,也没有mmap操作

使用jps 查看启动参数,发现分配了大约3GB的堆内存

[root]$ jps -v

75 Bootstrap -Xmx3000m -Xms3000m -verbose:gc -Xloggc:/home/logs/gc.log -XX:CMSInitiatingOccupancyFraction=80 -XX:+UseCMSCompactAtFullCollection -XX:MaxTenuringThreshold=10 -XX:MaxPermSize=128M -XX:SurvivorRatio=3 -XX:NewRatio=2 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseParNewGC -XX:+UseConcMarkSweepGC

使用ps查看进程使用的内存和虚拟内存 ( Linux内存管理 )。除了虚拟内存比较高达到17GB以外,实际使用的内存RSS也夸张的达到了7GB,远远超过了-Xmx的设定。

[root]$ ps -p 75 -o rss,vsz

RSS VSZ 7152568 17485844

排查过程

明显的,是有堆外内存的使用,不太可能是由于EhCache引起的(因为我们使用了heap方式)。了解到基础软件的升级涉及到netty版本升级,netty会用到一些DirectByteBuffer,第一轮排查我们采用如下方式:jmap -dump:format=b,file=75.dump 75 通过分析堆内存找到DirectByteBuffer的引用和大小

部署一个升级基础软件之前的版本,持续观察

部署另一个版本,更改EhCache限制其大小到1024M

考虑到可能由Docker的内存分配机制引起,部署一实例到实体机

结果4个环境中的服务,无一例外的都出现了内存超用的问题。问题很奇怪,宝宝睡不着觉。

pmap

为了进一步分析问题,我们使用pmap查看进程的内存分配,通过RSS升序序排列。结果发现除了地址000000073c800000上分配的3GB堆以外,还有数量非常多的64M一块的内存段,还有巨量小的物理内存块映射到不同的虚拟内存段上。但到现在为止,我们不知道里面的内容是什么,是通过什么产生的。

[root]$ pmap -x 75 | sort -n -k3

.....省略N行

0000000040626000 55488 55484 55484 rwx-- [ anon ]

00007fa07c000000 65536 55820 55820 rwx-- [ anon ]

00007fa044000000 65536 55896 55896 rwx-- [ anon ]

00007fa0c0000000 65536 56304 56304 rwx-- [ anon ]

00007f9db8000000 65536 56360 56360 rwx-- [ anon ]

00007fa0b8000000 65536 56836 56836 rwx-- [ anon ]

00007fa084000000 65536 57916 57916 rwx-- [ anon ]

00007f9ec4000000 65532 59752 59752 rwx-- [ anon ]

00007fa008000000 65536 60012 60012 rwx-- [ anon ]

00007f9e58000000 65536 61608 61608 rwx-- [ anon ]

00007f9f18000000 65532 61732 61732 rwx-- [ anon ]

00007fa018000000 65532 61928 61928 rwx-- [ anon ]

00007fa088000000 65536 62336 62336 rwx-- [ anon ]

00007fa020000000 65536 62428 62428 rwx-- [ anon ]

00007f9e44000000 65536 64352 64352 rwx-- [ anon ]

00007f9ec0000000 65528 64928 64928 rwx-- [ anon ]

00007fa050000000 65532 65424 65424 rwx-- [ anon ]

00007f9e08000000 65512 65472 65472 rwx-- [ anon ]

00007f9de0000000 65524 65512 65512 rwx-- [ anon ]

00007f9dec000000 65532 65532 65532 rwx-- [ anon ]

00007f9dac000000 65536 65536 65536 rwx-- [ anon ]

00007f9dc8000000 65536 65536 65536 rwx-- [ anon ]

00007f9e30000000 65536 65536 65536 rwx-- [ anon ]

00007f9eb4000000 65536 65536 65536 rwx-- [ anon ]

00007fa030000000 65536 65536 65536 rwx-- [ anon ]

00007fa0b0000000 65536 65536 65536 rwx-- [ anon ]

000000073c800000 3119140 2488596 2487228 rwx-- [ anon ]

total kB 17629516 7384476 7377520

通过google,找到以下资料 Linux glibc >= 2.10 (RHEL 6) malloc may show excessive virtual memory usage)

文章指出造成应用程序大量申请64M大内存块的原因是由Glibc的一个版本升级引起的,通过export MALLOC_ARENA_MAX=4可以解决VSZ占用过高的问题。虽然这也是一个问题,但却不是我们想要的,因为我们增长的是物理内存,而不是虚拟内存。

NMT

幸运的是 JDK1.8有Native Memory Tracker可以帮助定位。通过在启动参数上加入-XX:NativeMemoryTracking=detail就可以启用。在命令行执行jcmd可查看内存分配。

#jcmd 75 VM.native_memory summary

Native Memory Tracking: Total: reserved=5074027KB, committed=3798707KB - Java Heap (reserved=3072000KB, committed=3072000KB) (mmap: reserved=3072000KB, committed=3072000KB) - Class (reserved=1075949KB, committed=28973KB) (classes #4819) (malloc=749KB #13158) (mmap: reserved=1075200KB, committed=28224KB) - Thread (reserved=484222KB, committed=484222KB) (thread #470) (stack: reserved=482132KB, committed=482132KB) (malloc=1541KB #2371) (arena=550KB #938) - Code (reserved=253414KB, committed=25070KB) (malloc=3814KB #5593) (mmap: reserved=249600KB, committed=21256KB) - GC (reserved=64102KB, committed=64102KB) (malloc=54094KB #255) (mmap: reserved=10008KB, committed=10008KB) - Compiler (reserved=542KB, committed=542KB) (malloc=411KB #543) (arena=131KB #3) - Internal (reserved=50582KB, committed=50582KB) (malloc=50550KB #13713) (mmap: reserved=32KB, committed=32KB) - Symbol (reserved=6384KB, committed=6384KB) (malloc=4266KB #31727) (arena=2118KB #1) - Native Memory Tracking (reserved=1325KB, committed=1325KB) (malloc=208KB #3083) (tracking overhead=1117KB) - Arena Chunk (reserved=231KB, committed=231KB) (malloc=231KB) - Unknown (reserved=65276KB, committed=65276KB) (mmap: reserved=65276KB, committed=65276KB)

虽然pmap得到的内存地址和NMT大体能对的上,但仍然有不少内存去向成谜。虽然是个好工具但问题并不能解决。

gdb

非常好奇64M或者其他小内存块中是什么内容,接下来通过gdb dump出来。读取/proc目录下的maps文件,能精准的知晓目前进程的内存分布。

以下脚本通过传入进程id,能够将所关联的内存全部dump到文件中(会影响服务,慎用)。

grep rw-p /proc/$1/maps | sed -n 's/^\([0-9a-f]*\)-\([0-9a-f]*\) .*$/\1 \2/p' | while read start stop; do gdb --batch --pid $1 -ex "dump memory $1-$start-$stop.dump 0x$start 0x$stop"; done

更多时候,推荐之dump一部分内存。(再次提醒操作会影响服务,注意dump的内存块大小,慎用)。

gdb --batch --pid 75 -ex "dump memory a.dump 0x7f2bceda1000 0x7f2bcef2b000

[root]$ du -h *

dump 4.0K

55-00600000-00601000.dump 400K

55-00eb7000-00f1b000.dump 0

55-704800000-7c0352000.dump 47M

55-7f2840000000-7f2842eb8000.dump 53M

55-7f2848000000-7f284b467000.dump 64M

55-7f284c000000-7f284fffa000.dump 64M

55-7f2854000000-7f2857fff000.dump 64M

55-7f285c000000-7f2860000000.dump 64M

55-7f2864000000-7f2867ffd000.dump 1016K

55-7f286a024000-7f286a122000.dump 1016K

55-7f286a62a000-7f286a728000.dump 1016K

55-7f286d559000-7f286d657000.dump

是时候查看里面的内容了

[root]$ view 55-7f284c000000-7f284fffa000.dump

^@^@X+^?^@^@^@^@^@d(^?^@^@^@ ÿ^C^@^@^@^@^@ ÿ^C^@^@^@^@^@^@^@^@^@^@^@^@±<97>p^C^@^@^@^@ 8^^Z+^?^@^@ ^@^@d(^?^@^@ 8^^Z+^?^@^@ ^@^@d(^?^@^@

achine":524993642,"timeSecond":1460272569,"inc":2145712868,"new":false},"device":{"client":"android","uid":"xxxxx","version":881},"

device_android":{"BootSerialno":"xxxxx","CpuInfo":"0-7","MacInfo":"2c:5b:b8:b0:d5:10","RAMSize":"4027212","SdcardInfo":"xxxx","Serialno":"xxxx",

"android_id":"488aedba19097476","buildnumber":"KTU84P/1416486236","device_ip":"0.0.0.0","mac":"2c:5b:b8:b0:d5:10","market_source":"12","model":"OPPO ...more

纳尼?这些内容不应该在堆里面么?为何还会使用额外的内存进行分配?上面已经排查netty申请directbuffer的原因了,那么还有什么地方在分配堆外内存呢?

perf

传统工具失灵,快到了黔驴技穷的时候了,是时候祭出神器perf了。

使用 perf record -g -p 55 开启监控栈函数调用。运行一段时间后Ctrl+C结束,会生成一个文件perf.data。

执行perf report -i perf.data查看报告。

如图,进程大量执行bzip相关函数。搜索zip,结果如下:

-.-!

进程调用了Java_java_util_zip_Inflater_inflatBytes() 申请了内存,仅有一小部分调用Deflater释放内存。与pmap内存地址相比对,确实是bzip在搞鬼。

解决

java项目搜索zip定位到代码,发现确实有相关bzip压缩解压操作,而且GZIPInputStream有个地方没有close。

GZIPInputStream使用Inflater申请堆外内存,Deflater释放内存,调用close()方法来主动释放。如果忘记关闭,Inflater对象的生命会延续到下一次GC。在此过程中,堆外内存会一直增长。

原代码:

public byte[] decompress ( byte[] input) throws IOException {

ByteArrayOutputStream out = new ByteArrayOutputStream();

IOUtils.copy(new GZIPInputStream(new ByteArrayInputStream(input)), out);

return out.toByteArray();

}

修改后:

public byte[] decompress(byte[] input) throws IOException {

ByteArrayOutputStream out = new ByteArrayOutputStream();

GZIPInputStream gzip = new GZIPInputStream(new ByteArrayInputStream(input));

IOUtils.copy(gzip, out);

gzip.close();

return out.toByteArray();

}

经观察,问题解决。

<think>好的,用户的问题是关于如何使用pmap来分析Java进程的堆内存和堆外内存的使用情况。我需要先回忆一下pmap的基本用法,以及Java内存管理相关的知识。 首先,pmap是Linux下的一个工具,可以显示进程的内存映射情况。每个条目对应一段虚拟内存区域,包括地址、大小、权限、映射文件等信息。用户可能已经知道这些,但需要指导如何具体分析堆和堆外内存Java的内存分为堆内存(Heap)和堆外内存(Native Memory)。堆内存由JVM的垃圾回收器管理,而堆外内存则包括直接内存(如NIO的DirectBuffer)、JNI分配的内存、线程栈、元数据区等。这些堆外内存不会显示在标准的JVM内存监控工具中,比如jstat,所以pmap可能是一个补充手段。 接下来,用户提供的引用中提到NMT(Native Memory Tracking)和pmap结合使用。引用[2]和[3]提到NMT可以跟踪JVM内部的内存使用,而pmap查看进程的地址空间。所以,可能需要先启用NMT来获取更详细的信息,再结合pmap的结果进行分析。 首先,如何启用NMT呢?启动JVM时加上参数-XX:NativeMemoryTracking=detail,然后使用jcmd命令来获取NMT的数据。例如jcmd <pid> VM.native_memory detail。这可以帮助用户看到JVM自身对Native Memory的使用情况,比如内部数据结构、线程、代码缓存等。但用户的问题是用pmap来分析,所以需要将pmap的输出和NMT的数据结合起来。 pmap的输出中有多个内存区域,其中堆内存通常对应的是Java堆,也就是通过-Xmx设置的最大堆大小。在pmap中,堆内存可能显示为匿名内存块(anon),并且大小接近-Xmx的值。例如,如果用户设置了-Xmx4G,pmap中可能会有一个大约4G的匿名内存段,这可能就是堆内存。 而堆外内存则可能包括其他部分,比如由JVM分配的元空间(Metaspace)、线程栈、JNI库、直接缓冲区等。这些在pmap中可能表现为不同的内存区域,比如映射到文件的内存(比如libjvm.so)、匿名内存等。需要注意的是,pmap显示的是虚拟内存,而实际使用的物理内存(RSS)可能不同,用户可能更关心实际占用情况。 用户可能需要用pmap -x <pid>来查看更详细的信息,包括RSS。然后,他们可以过滤出较大的内存块进行分析。例如,查找大的匿名内存块,其中可能包括堆和直接内存。但如何区分堆和堆外呢? 堆的大小通常由JVM参数控制,所以用户可以根据启动参数中的-Xmx和-Xms来估计堆内存的大小。而堆外内存可能包括多个部分,如NMT中显示的Internal(代码缓存、GC内部结构等)、Thread(线程栈)、Arena(内存分配区)等。这些在pmap中可能分散在不同的内存区域。 例如,元空间(Metaspace)在Java 8之后使用本地内存,所以如果用户看到较大的匿名内存块,并且不属于堆的大小,可能是Metaspace。线程栈通常每个线程分配一定的内存(如1MB),所以如果有100个线程,大约会有100MB的栈内存,这在pmap中可能有多个相同大小的区域。 此外,直接内存(Direct Buffer)是通过ByteBuffer.allocateDirect分配的,这部分内存也会在pmap中显示为匿名内存。用户可能需要结合NMT的数据,查看DirectBuffer的大小,然后在pmap中找到对应的大块内存。 可能的步骤是: 1. 使用NMT获取详细的堆外内存分配情况。 2. 使用pmap查看进程的内存映射,找出大块的内存区域。 3. 对比两者的信息,确定哪些区域属于堆,哪些属于堆外内存。 用户还可能需要注意,pmap中的内存区域可能有重复统计,因为不同的内存段可能属于不同的类别。例如,JVM本身的代码和库文件会映射到内存中,但这些通常属于只读或共享内存,可能不是用户关注的堆外内存部分。 另外,用户可能需要关注anon(匿名内存)和堆(heap)的关系。在pmap中,堆内存通常是连续的匿名内存块,而其他如mmap分配的内存可能是文件映射或匿名大页内存。 用户可能遇到的问题是如何确定某个匿名内存块是否属于堆。这时候可以结合JVM的堆地址范围,通过pmap的输出中的地址空间来判断。例如,JVM启动时可能会输出堆的起始地址,或者在NMT的输出中给出堆的地址范围,然后和pmap中的地址进行比对。 不过,这可能比较复杂。更简单的方法可能是根据大小来判断,比如堆的大小由-Xmx决定,所以最大的匿名内存块可能就是堆。剩下的较大匿名块可能是直接内存或其他堆外分配。 总结起来,用户需要: 1. 启用NMT,获取详细的堆外内存信息。 2. 使用pmap -x查看进程的内存映射,关注RSS较大的区域。 3. 结合NMT的数据,分析各个内存区域的归属,如堆、Metaspace、Direct Buffer等。 可能还需要注意,pmap显示的是虚拟内存大小,而实际使用的物理内存可能不同,所以关注RSS列更为准确。此外,JVM的内存管理可能存在碎片,所以多个小块的匿名内存可能属于堆外分配。 最后,用户可能需要一个具体的例子来说明这个过程。例如,使用pmap输出中的某个大块anon内存,对应NMT中的某个部分,如Internal或Direct Buffer。通过这样的对比,用户可以确定堆外内存的主要使用情况。</think>### 分步说明:如何通过 pmap 分析 Java 进程的堆内存与堆外内存 #### 1. **获取目标进程的 PID** 使用 `jps` 或 `ps` 命令获取 Java 进程的 PID: ```bash jps -l ``` #### 2. **使用 pmap 查看内存映射** 执行以下命令,查看进程的详细内存映射(重点关注 **RSS(实际物理内存占用)** 和 **Anonymous(匿名内存)** 字段): ```bash pmap -x <PID> | less ``` **输出示例**: ``` Address Kbytes RSS Dirty Mode Mapping 0000000000400000 4 4 0 r-x-- java 0000000000600000 4 4 4 rw--- java ... 00007f3d80000000 4194304 1048576 1048576 rw--- [anon] <-- 可能是堆内存 00007f3dc0000000 262144 0 0 ----- [anon] ... ``` #### 3. **识别堆内存** - **堆内存特点**: - 通常是最大的匿名内存块(`[anon]`),大小接近 JVM 参数 `-Xmx` 设置的值。 - 在 pmap 中表现为连续的大块 `rw---` 权限的匿名内存(如示例中的 `00007f3d80000000` 段)。 - **验证方法**: 结合 JVM 启动参数 `-Xmx` 的值,确认匿名内存块是否匹配。例如,若 `-Xmx4g`,则堆内存可能对应约 `4,194,304 KB`(即 4GB)的匿名内存段。 #### 4. **分析堆外内存(Native Memory)** - **堆外内存组成**: - **直接内存(Direct Buffer)**:通过 `ByteBuffer.allocateDirect()` 分配。 - **元空间(Metaspace)**:存储类元数据,由 `-XX:MaxMetaspaceSize` 控制。 - **线程栈**:每个线程默认约 1MB(由 `-Xss` 控制)。 - **JNI 代码与本地库**:如 `libjvm.so` 或第三方本地库。 - **识别方法**: 1. **直接内存**:查找较大的匿名内存块(`[anon]`),结合 NMT 数据确认(见下文)。 2. **元空间**:通常为分散的中等大小匿名内存块。 3. **线程栈**:多个固定大小(如 1024KB)的 `rw---` 匿名内存段。 4. **本地库**:映射到 `.so` 文件的段(如 `libjvm.so`),RSS 可能较高但通常为共享内存。 #### 5. **结合 NMT 验证堆外内存** - **启用 NMT**: 启动 JVM 时添加参数 `-XX:NativeMemoryTracking=detail`。 - **获取 NMT 报告**: ```bash jcmd <PID> VM.native_memory detail ``` - **关键字段解释**: - `Total`:总占用量。 - `Reserved`:保留的虚拟内存。 - `Committed`:实际提交的物理内存。 - 分类:`Internal`(GC 内部结构)、`Thread`(线程栈)、`Arena`(内存分配区)、`Other`(直接内存等)。 #### 6. **交叉分析示例** - **NMT 输出片段**: ``` Native Memory Tracking: Total: reserved=5GB, committed=2GB - Java Heap
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值