使用Java堆外内存(自己管理内存)的一些方法

关注

原创最新推荐文章于 2026-07-16 11:35:37 发布 4.4k 阅读 AI 写同款· GEO 优化 ›

HugeCollections-OLD:使用高效堆外存储的 Java 巨大集合 SharedHashMap 已弃用 SharedHashMap 已重新设计并移至新 GitHub 项目下的 ChronicleMap SharedHashMap 的所有新开发都将在 ChronicleMap 项目上完成，旧的 ShareHashMap 代码将保留在这里，所有新的增强功能都将添加到 ChronicleMap 中。如果您在生产中运行它并希望获得专业支持的代码，请参阅巨大的收藏使用高效堆外存储的 Java 巨大集合 HugeHashMap 支持并发访问非常大的堆外键/值对。来自 HugeHashMapTest HugeConfig config = HugeConfig.DEFAULT.clone() .setSegments(128) .setSmallEntrySize(128) .setCapacity(cou 立即下载

背景

使用Java的一大好处就是自动内存管理，程序员不用太关心内存的是否，JVM的Garbage Collector(GC)帮我们找到不被引用的垃圾对象并清除掉。但是有得必有失，我们也失去了自己管理内存的可能性。【个人观点：大多数程序员的内存管理水平都比不上JVM，虽然程序员可能更了解业务逻辑，知道某个对象已经死掉，可以回收。但是回收的内存什么时候应该compact，内存分配使用什么算法，这样不是简单的问题。所以如果不是逼不得已，最好的办法还是优化代码，优化JVM的GC参数】

但是可能还是存在一些应用场景，如果能够自己管理内存的话，性能可能更优（或者说代码写得好的话可能更优）。比如一些非常简单的业务逻辑或者算法，需要使用大量内存，尤其是像Cache，会在内存里呆很久。但是如果放到堆里，那么会影响Full GC的Pause Time

问题

但是Java的设计者并不允许我们这么做（可能设计者的理念是：一旦留了个后门，那么就会有各种“优化秘笈”，各种水平的程序员都会附庸风雅一番，结果导致更差的性能，然后就会得出结论：Java语言很差。这就像我们印象中的Firefox很慢，其实很大一部分原因可能是我们使用了憋足的插件，但是我们不会管那么多，我们只会把罪名归到Firefox身上）

救星------ByteBuffer

在NIO出现之前应该没有什么办法可以自己申请堆外内存，但是NIO为了高效，“不得不”提供了ByteBuffer。但是它还是把ByteBuffer纳入了管理的范畴，你没有办法显示“释放”ByteBuffer，就像你调用System.gc()不能保证调用GC一样，你只能祈祷上天保佑马上会有GC。不过如果不考虑JVM的移植和版本的升级，Sun的DirectBuffer接口提供了Cleaner对象(sun.misc.Cleaner)。这是有风险的，比如你不使用Sun或者OpenJDK，或者等到以后的某个JDK版本，这些方法可能木有了。我们使用的ByteBuffer.allocateDirect得到的就是DirectByteBuffer，它实现了DirectBuffer接口。

等等------问题还没解决

给我一个ByteBuffer有什么用？我可以把它变成一个byte[]。那照样没有什么用，难道我必须这样修改代码？

class Person{
    long id;
    int age;
    boolean gender;

    public int getAge(){
       return age;
    }
    public void setAge(int age){
       this.age=age;
    }
    .....
}

class PersonWrapper{
    ByteBuffer buf;

    public int getAge(){//假设我们的内存布局是上面的顺序
        return buf.getInt(8);
    }
    public PersonWrapper(){
        buf=ByteBuffer.allocateDirect(13);
    }

    public free(){
        ((DirectBuffer) buffer).cleaner().clean();
    }
}

这样的代码看起来很像c的malloc和free，但是尽量别这么用。这里有个问题就是我们只能使用原始类型，如果你使用了对象，那么还是在Heap里由GC管理。

如果你真的这么写Java代码那么我建议你直接使用C/C++。我们使用Java很大一部分是使用Java的类库，包括JRE里语言规定的和各种第三方的。我们的代码需要使用它们提供的对象。我们需要传递参数给它，这些参数可能就是对象，返回值也是。

当然如果你从头开始必须用Java实现一个基础模块，它不需要使用任何其它对象，那么也许你可以考虑这种方法。这种方法的对象回收有两种方式，一种就是显示调用free方法，像我们写c一样，另外就是不管它，等PersonWrapper被回收的适合，buf也自动变成垃圾了。但正如GC的不确定性，可能等到GC再回收的话，可能Heap+DirectMemory把内存都用爆了，甚至连JVM都没有内存做GC！！

我们可能更喜欢使用Java的对象编码（虽然使用Wrapper的方法可能更节省空间），字节数组实在太难用了。解决这个问题有下面两种方法：