堆内存和堆外内存

HeapByteBuffer与DirectByteBuffer,在原理上,前者可以看出分配的buffer是在heap区域的,其实真正flush到远程的时候会先拷贝得到直接内存,再做下一步操作(考虑细节还会到OS级别的内核区直接内存),其实发送静态文件最快速的方法是通过OS级别的send_file,只会经过OS一个内核拷贝,而不会来回拷贝;在NIO的框架下,很多框架会采用DirectByteBuffer来操作,这样分配的内存不再是在java heap上,而是在C heap上,经过性能测试,可以得到非常快速的网络交互,在大量的网络交互下,一般速度会比HeapByteBuffer要快速好几倍。

直接内存(Direct Memory)并不是虚拟机运行时数据区的一部分,也不是Java虚拟机规范中定义的内存区域,但是这部分内存也被频繁地使用,而且也可能导致OutOfMemoryError 异常出现,所以我们放到这里一起讲解。
在JDK 1.4 中新加入了NIO(New Input/Output)类,引入了一种基于通道(Channel)与缓冲区(Buffer)的I/O 方式,它可以使用Native 函数库直接分配堆外内存,然后通过一个存储在Java 堆里面的DirectByteBuffer 对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能,因为避免了在Java 堆和Native 堆中来回复制数据。

import sun.nio.ch.DirectBuffer;

import java.nio.ByteBuffer;

public class Main {

    public static void main(String[] args) throws InterruptedException {
        System.out.println("Hello World!");
        ByteBuffer bb = ByteBuffer.allocateDirect(1024 * 1024 * 128);
        Thread.sleep(10000);
        ((DirectBuffer)bb).cleaner().clean();
        Thread.sleep(10000);
    }
}

可以在任务管理器那观察变化

堆外内存的优点和缺点

堆外内存,其实就是不受JVM控制的内存。相比于堆内内存有几个优势:
  1 减少了垃圾回收的工作,因为垃圾回收会暂停其他的工作(可能使用多线程或者时间片的方式,根本感觉不到)
  2 加快了复制的速度。因为堆内在flush到远程时,会先复制到直接内存(非堆内存),然后在发送;而堆外内存相当于省略掉了这个工作。
  而福之祸所依,自然也有不好的一面:
  1 堆外内存难以控制,如果内存泄漏,那么很难排查
  2 堆外内存相对来说,不适合存储很复杂的对象。一般简单的对象或者扁平化的比较适合。



对于nio这个库可以直接操作内存的使用,可以做个对比,看哪种情况下适合使用。

输出结果:

bufferAccess57
directAccess:28
bufferAccess55
directAccess:10


可以看到直接内存读写有较大优势,但是看看下面的情况:

输出结果:

bufferAllocate:38
directAllocate:282
bufferAllocate:71
directAllocate:403


可以看到在内存空间申请上,直接内存毫无优势。


如果内存空间本身需要频繁申请,则不适合使用直接内存。


http://blog.youkuaiyun.com/primary_wind/article/details/50294947

http://www.cnblogs.com/moonandstar08/p/5107648.html



<think>好的,用户的问题是关于如何使用pmap来分析Java进程的堆内存堆外内存的使用情况。我需要先回忆一下pmap的基本用法,以及Java内存管理相关的知识。 首先,pmap是Linux下的一个工具,可以显示进程的内存映射情况。每个条目对应一段虚拟内存区域,包括地址、大小、权限、映射文件等信息。用户可能已经知道这些,但需要指导如何具体分析堆堆外内存。 Java的内存分为堆内存(Heap)堆外内存(Native Memory)。堆内存由JVM的垃圾回收器管理,而堆外内存则包括直接内存(如NIO的DirectBuffer)、JNI分配的内存、线程栈、元数据区等。这些堆外内存不会显示在标准的JVM内存监控工具中,比如jstat,所以pmap可能是一个补充手段。 接下来,用户提供的引用中提到NMT(Native Memory Tracking)pmap结合使用。引用[2][3]提到NMT可以跟踪JVM内部的内存使用,而pmap查看进程的地址空间。所以,可能需要先启用NMT来获取更详细的信息,再结合pmap的结果进行分析。 首先,如何启用NMT呢?启动JVM时加上参数-XX:NativeMemoryTracking=detail,然后使用jcmd命令来获取NMT的数据。例如jcmd <pid> VM.native_memory detail。这可以帮助用户看到JVM自身对Native Memory的使用情况,比如内部数据结构、线程、代码缓存等。但用户的问题是用pmap来分析,所以需要将pmap的输出NMT的数据结合起来。 pmap的输出中有多个内存区域,其中堆内存通常对应的是Java堆,也就是通过-Xmx设置的最大堆大小。在pmap中,堆内存可能显示为匿名内存块(anon),并且大小接近-Xmx的值。例如,如果用户设置了-Xmx4G,pmap中可能会有一个大约4G的匿名内存段,这可能就是堆内存。 而堆外内存则可能包括其他部分,比如由JVM分配的元空间(Metaspace)、线程栈、JNI库、直接缓冲区等。这些在pmap中可能表现为不同的内存区域,比如映射到文件的内存(比如libjvm.so)、匿名内存等。需要注意的是,pmap显示的是虚拟内存,而实际使用的物理内存(RSS)可能不同,用户可能更关心实际占用情况。 用户可能需要用pmap -x <pid>来查看更详细的信息,包括RSS。然后,他们可以过滤出较大的内存块进行分析。例如,查找大的匿名内存块,其中可能包括堆直接内存。但如何区分堆堆外呢? 堆的大小通常由JVM参数控制,所以用户可以根据启动参数中的-Xmx-Xms来估计堆内存的大小。而堆外内存可能包括多个部分,如NMT中显示的Internal(代码缓存、GC内部结构等)、Thread(线程栈)、Arena(内存分配区)等。这些在pmap中可能分散在不同的内存区域。 例如,元空间(Metaspace)在Java 8之后使用本地内存,所以如果用户看到较大的匿名内存块,并且不属于堆的大小,可能是Metaspace。线程栈通常每个线程分配一定的内存(如1MB),所以如果有100个线程,大约会有100MB的栈内存,这在pmap中可能有多个相同大小的区域。 此外,直接内存(Direct Buffer)是通过ByteBuffer.allocateDirect分配的,这部分内存也会在pmap中显示为匿名内存。用户可能需要结合NMT的数据,查看DirectBuffer的大小,然后在pmap中找到对应的大块内存。 可能的步骤是: 1. 使用NMT获取详细的堆外内存分配情况。 2. 使用pmap查看进程的内存映射,找出大块的内存区域。 3. 对比两者的信息,确定哪些区域属于堆,哪些属于堆外内存。 用户还可能需要注意,pmap中的内存区域可能有重复统计,因为不同的内存段可能属于不同的类别。例如,JVM本身的代码库文件会映射到内存中,但这些通常属于只读或共享内存,可能不是用户关注的堆外内存部分。 另外,用户可能需要关注anon(匿名内存)堆(heap)的关系。在pmap中,堆内存通常是连续的匿名内存块,而其他如mmap分配的内存可能是文件映射或匿名大页内存。 用户可能遇到的问题是如何确定某个匿名内存块是否属于堆。这时候可以结合JVM的堆地址范围,通过pmap的输出中的地址空间来判断。例如,JVM启动时可能会输出堆的起始地址,或者在NMT的输出中给出堆的地址范围,然后pmap中的地址进行比对。 不过,这可能比较复杂。更简单的方法可能是根据大小来判断,比如堆的大小由-Xmx决定,所以最大的匿名内存块可能就是堆。剩下的较大匿名块可能是直接内存或其他堆外分配。 总结起来,用户需要: 1. 启用NMT,获取详细的堆外内存信息。 2. 使用pmap -x查看进程的内存映射,关注RSS较大的区域。 3. 结合NMT的数据,分析各个内存区域的归属,如堆、Metaspace、Direct Buffer等。 可能还需要注意,pmap显示的是虚拟内存大小,而实际使用的物理内存可能不同,所以关注RSS列更为准确。此外,JVM的内存管理可能存在碎片,所以多个小块的匿名内存可能属于堆外分配。 最后,用户可能需要一个具体的例子来说明这个过程。例如,使用pmap输出中的某个大块anon内存,对应NMT中的某个部分,如Internal或Direct Buffer。通过这样的对比,用户可以确定堆外内存的主要使用情况。</think>### 分步说明:如何通过 pmap 分析 Java 进程的堆内存堆外内存 #### 1. **获取目标进程的 PID** 使用 `jps` 或 `ps` 命令获取 Java 进程的 PID: ```bash jps -l ``` #### 2. **使用 pmap 查看内存映射** 执行以下命令,查看进程的详细内存映射(重点关注 **RSS(实际物理内存占用)** **Anonymous(匿名内存)** 字段): ```bash pmap -x <PID> | less ``` **输出示例**: ``` Address Kbytes RSS Dirty Mode Mapping 0000000000400000 4 4 0 r-x-- java 0000000000600000 4 4 4 rw--- java ... 00007f3d80000000 4194304 1048576 1048576 rw--- [anon] <-- 可能是堆内存 00007f3dc0000000 262144 0 0 ----- [anon] ... ``` #### 3. **识别堆内存** - **堆内存特点**: - 通常是最大的匿名内存块(`[anon]`),大小接近 JVM 参数 `-Xmx` 设置的值。 - 在 pmap 中表现为连续的大块 `rw---` 权限的匿名内存(如示例中的 `00007f3d80000000` 段)。 - **验证方法**: 结合 JVM 启动参数 `-Xmx` 的值,确认匿名内存块是否匹配。例如,若 `-Xmx4g`,则堆内存可能对应约 `4,194,304 KB`(即 4GB)的匿名内存段。 #### 4. **分析堆外内存(Native Memory)** - **堆外内存组成**: - **直接内存(Direct Buffer)**:通过 `ByteBuffer.allocateDirect()` 分配。 - **元空间(Metaspace)**:存储类元数据,由 `-XX:MaxMetaspaceSize` 控制。 - **线程栈**:每个线程默认约 1MB(由 `-Xss` 控制)。 - **JNI 代码与本地库**:如 `libjvm.so` 或第三方本地库。 - **识别方法**: 1. **直接内存**:查找较大的匿名内存块(`[anon]`),结合 NMT 数据确认(见下文)。 2. **元空间**:通常为分散的中等大小匿名内存块。 3. **线程栈**:多个固定大小(如 1024KB)的 `rw---` 匿名内存段。 4. **本地库**:映射到 `.so` 文件的段(如 `libjvm.so`),RSS 可能较高但通常为共享内存。 #### 5. **结合 NMT 验证堆外内存** - **启用 NMT**: 启动 JVM 时添加参数 `-XX:NativeMemoryTracking=detail`。 - **获取 NMT 报告**: ```bash jcmd <PID> VM.native_memory detail ``` - **关键字段解释**: - `Total`:总占用量。 - `Reserved`:保留的虚拟内存。 - `Committed`:实际提交的物理内存。 - 分类:`Internal`(GC 内部结构)、`Thread`(线程栈)、`Arena`(内存分配区)、`Other`(直接内存等)。 #### 6. **交叉分析示例** - **NMT 输出片段**: ``` Native Memory Tracking: Total: reserved=5GB, committed=2GB - Java Heap
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值