堆内内存(in heap cache/memory)还是堆外内存(off heap cache/memory)

最新推荐文章于 2025-04-09 16:12:36 发布
原创 最新推荐文章于 2025-04-09 16:12:36 发布 · 3.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨了堆内与堆外内存的选择问题，介绍了OpenHFT公司的开源库如何利用堆外内存提高数据处理效率，并避免垃圾回收带来的延迟。此外，还提到了Ehcache 3.0对堆外内存的支持。

      堆内内存(in heap cache/memory)还是堆外内存(off heap cache/memory)？


      没有GC的map  OpenHFT公司提供三个开源库：Chronicle Queue、Chronicle Map和Thread Affinity，这些库可以帮助开发人员使用堆外内存来保存数据。采用堆外内存有很多好处，同时也带来挑战
      堆内内存(in heap cache/memory)还是堆外内存(off heap cache/memory)？：http://www.infoq.com/cn/news/2014/12/external-memory-heap-memory/
      https://www.javacodegeeks.com/2015/03/creating-millions-of-objects-with-zero-garbage.html
      https://github.com/OpenHFT/Chronicle-Map
      http://chronicle.software/products/chronicle-map/
      OpenJDK 和 HashMap,大量数据处理时，避免垃圾回收延迟的技巧（off-heap)。https://www.oschina.net/translate/open-jdk-and-hashmap-off-heap
      https://github.com/snazy/ohc
      什么是堆外内存off-heap:http://www.jdon.com/46066
      cassandra的部件ohc(off heap cache)
      Ehcache 3.0 首个里程碑发布，支持 Off-Heap http://www.oschina.net/news/60865/ehcache3-with-off-heap-storage
      Off-heap技术在大数据处理中的应用 http://www.oschina.net/news/60865/ehcache3-with-off-heap-storage
Spark 内存管理 spark.executor.memory /spark.memory.fraction/spark.memory.offHeap.size【堆外内存/内存管理】 钨丝计划
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
12-26 6474
spark.executor.memory 包含spark.memory.fraction； spark.memory.fraction 包含 spark.memory.storageFraction； spark 2.4.5 Application Properties Property Name Default Meaning spark.app.name (none) The name of your application. This will appear in.
阿里三面必问JVM知识点- 使用堆外内存减少Full GC
wdj_yyds的博客
03-27 603
问题: 大部分主流互联网企业线上Server JVM选用了CMS收集器(如Taobao、LinkedIn、Vdian), 虽然CMS可与用户线程并发GC以降低STW时间, 但它也并非十分完美, 尤其是当出现Concurrent Mode Failure由并行GC转入串行时, 将导致非常长时间的Stop The World(详细可参考JVM初探- 内存分配、GC原理与垃圾收集器). 解决: 由GCIH可以联想到: 将长期存活的对象(如Local Cache)移入堆外内存(off-heap, 又名直接内存/.
Java offheap memory
zjfzjf2012的博客
07-18 419
- MappedByteBuffer public void copyFile(String filename,String srcpath,String destpath)throws IOException {       File source = new File(srcpath+"/"+filename);       File dest = new File(destpath+"/...
ohc:Java大型堆外缓存
05-06
OHC-堆外缓存 特征 异步缓存加载器支持 每个条目可选或默认TTL / expireAt 条目驱逐和到期没有单独的线程 能够维护大量的高速缓存 使用分块实现适合低开销的微小条目 与Java 8和Java 11一起运行-对Java 7和更早版本的支持已从0.7.0版中删除 要从源代码构建OHC，需要Java 11或更高版本（已通过Java 11 + 15测试） 表现 OHC在使用非统一内存架构的商品硬件和大型系统上均应提供良好的性能。 尚无性能测试结果-您可以尝试ohc-benchmark工具。 请参阅下面的说明。 _Benchmarking_部分中对速度有一个非常基本的印象。 要求 支持64位并具有sun.misc.Unsafe （x64 Intel CPU上的Oracle JVM）的Java 8 VM。 OHC是针对Linux和OSX的。 它应该可以在Windows和其他Unix
从0到1起步-跟我进入堆外内存的奇妙世界
weixin_33991418的博客
10-10 828
堆外内存一直是Java业务开发人员难以企及的隐藏领域，究竟他是干什么的，以及如何更好的使用呢？那就请跟着我进入这个世界吧。 一、什么是堆外内存 1、堆内内存（on-heap memory）回顾 堆外内存和堆内内存是相对的二个概念，其中堆内内存是我们平常工作中接触比较多的，我们在jvm参数中只要使用-Xms...
堆外内存(off-heap)、堆内内存(on-heap)
universe_ant的博客
08-08 7081
堆Heap是内存中动态分配对象存在的地方。如果使用new一个对象，它就被分配在堆内存上。这是相对于Stack，如果你有一个局部变量则它是位于Stack栈内存空间。 一般情况下，Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的，也称为堆内内存（on-heap memory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（full gc）。彻底回收
JVM堆外内存（Off-Heap Memory）
Emerson的博客
12-11 621
堆外内存（Off-Heap Memory）是Java虚拟机（JVM）管理内存的一个概念，它指的是不由JVM直接管理的内存区域。使用堆外内存时需要注意内存管理，因为堆外内存不受JVM管理，一旦分配不当或忘记释放，就可能导致内存泄漏。因此，使用堆外内存通常需要谨慎，并且要确保正确地管理内存分配和释放。
你所不知道的堆外缓存
weixin_34281477的博客
09-12 625
在互联网项目中，一般以堆内缓存的使用居多，无论是Guava，Memcache，还是JDK自带的HashMap，ConcurrentHashMap等，都是在堆内内存中做数据计算操作。这样做的好处显而易见，用户完全不必在意数据的分配，溢出，回收等操作，全部交由JVM来进行处理。由于JVM提供了诸多的垃圾回收算法，可以保证在不影响甚至微影响系统的前提下，做到堆内内存接近完美的管控。君不见，小如图书管理这...
RxCache:适用于Java和Android的本地React式缓存。 现在，它支持堆内存，堆外内存和磁盘缓存
05-09
Memory 支持堆外内存(off-heap) Persistence 默认使用 Gson 实现对象的序列化和反序列化 Persistence 额外支持使用 FastJSON、Moshi、Kryo、Hessian、FST、Protobuf 实现对象的序列化和反序列化 Persistence 的 ...
HBase堆外内存使用解析
yuantangyuan的博客
02-17 2500
背景 JVM需要申请一块内存用于进程的使用，类、对象、方法等数据均保存在JVM堆栈也就是申请的这块内存之中，JVM也会负责帮我们管理和回收再利用这块内存。 相对的，堆外内存就是直接调用系统malloc分配的内存，这部分内存不属于JVM直接管理，也不受JVM最大内存的限制，通过引用指向这段内存。 堆外内存可以带来更小的GC压力，更少的内存碎片，以及零拷贝方面的性能优化。HBase在读写路径上都进行了堆外内存的优化。 目前HBase的堆外内存主要应用在4部分：MSLAB，Bucket cache，RPC，HDF
Go-fastcache-Go的快速堆外线程安全内存缓存
08-13
快速。 性能在多核CPU上扩展。线程安全的。 并发goroutine可以读写单个缓存实例。fastcache设计用于存储大量项目而无需GC开销。 Fastcache在创建期间达到设置的最大大小时会自动驱逐旧条目。
堆外内存聚合技术演示：Java集合的高效处理
“aggregate-offheap”项目的核心目标是展示如何在Java环境中利用堆外内存（off-heap memory）进行高效的数据聚合操作，尤其是在处理大规模数据集合时，避免传统堆内内存（on-heap memory）所带来的性能瓶颈和垃圾...
JVM中的堆外内存（off-heap memory）与堆内内存（on-heap memory）
热门推荐
khxu666的博客
06-22 2万+
1. 堆内内存（on-heap memory） 1.1 什么是堆内内存 Java 虚拟机在执行Java程序的过程中会把它在主存中管理的内存部分划分成多个区域，每个区域存放不同类型的数据。下图所示为java虚拟机运行的时候，主要的内存分区： 在这些分区中，占用内存空间最大的一部分叫做“堆（heap）”，也就是我们所说的堆内内存（on-heap memory）。java虚拟机中的“堆”主要是...
On-heap vs Off-heap 堆内内存与堆外内存
abc33880238的博客
03-01 757
JVM主要的内存区域有 heap stack 其它寄存器。 heap主要是用来存储对象实例及数组值，可以认为java中所有通过new创建的对象都在此分配。 On-heap是指在堆内内存，由GC进行创建回收，可以通过参数-Xms(最小)和-Xmx(最大)来控制 Off-heap是指在堆外内存，不由GC创建，但可以通过full GC回收，通...
堆内与堆外的区别？
逍遥壮士
11-13 1616
什么是堆内？什么是堆外？堆内一般指堆内内存，英文全称：on-heap memory参考：https://baike.baidu.com/item/%E5%A0%86%E5%86%85%E...
堆内存、本地内存、堆外内存、直接内存的区别
最新发布
语雀同名：犬豪 yuque.com/qhao
04-09 813
在实际开发中，当你提到“堆外内存”时，通常指的是你通过编程手段（如 Direct ByteBuffer 或其他方式）显式分配的内存；Metaspace 报告的已提交和已保留空间中，包含了压缩类空间的已提交和已保留空间。MaxMetaspaceSize 设置了这两块区域（压缩类空间的已提交空间和类元数据空间）的总提交大小的上限。因此，在大多数情况下，堆外内存和本地内存可以视为相同的概念，但在具体场景下，它们的侧重点有所不同。你可以认为堆外内存是本地内存的一个子集，专门用于应用程序显式管理和使用的内存区域。
学习笔记 --- JVM 堆外内存(off-heap)、堆内内存(on-heap)
tianyeshiye
12-04 1517
堆内内存(on-heap) Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的，也称为堆内内存（on-heap memory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（full gc）。彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味着一个重要的事实——这样一次垃圾收集对Java应用造成的影响，跟堆的大小是成正比的。过大的堆会影响...
堆外缓存OHCache使用总结
w727655308的博客
04-13 5562
一. 为什么用缓存 用户数和访问量越来越大 并发量/吞吐量要求越来越高 连接数或者文件读写存在瓶颈 应用和数据库所做的计算也越来越多 如何能够有效利用有限的资源来提供尽可能大的吞吐量？一个有效的办法就是引入缓存 什么是缓存? 缓存（cache）最初用于CPU和主内存之间，指代访问速度比一般随机存取存储器（RAM）快的一种RAM。如今缓存的概念已被扩充，CPU与内存之间、内存和硬盘之间、硬盘与网络之间，都存在某种意义上的缓存。从广义上来说，凡是位于速度相差较大的两种硬件之间，用于协调两者数据传输速度差异
Java堆外缓存OHC在马蜂窝推荐引擎的应用
qq_16046891的博客
10-21 1468
在推荐系统中，通常由推荐引擎提供线上推荐服务。推荐引擎的工作流程主要包括召回、排序等阶段，每个阶段都需要大量的数据支撑，快速读取这些数据对提升推荐引擎的性能起着重要的作用。 缓存在企业级Web系统中使用非常广泛，举例来说，业务程序和数据库通常运行在不同的物理服务器上，并通过网络访问数据库。网络传输的耗时，自然会增加系统的响应时间。为了降低响应时间，业务程序可以将从数据库中读取到的部分数据，缓存在本地服务器以供后续使用。 缓存框架OHC基于Java语言实现，并以类库的形式供其他Java程序调用，是一种以单机模
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值