MemStoreChunkPool&MSLAB提升HBASE GC性能

最新推荐文章于 2024-09-30 16:44:12 发布
原创 最新推荐文章于 2024-09-30 16:44:12 发布 · 2.7w 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MemStore-Local Alloc #jvm #优化 #MemStoreChunkPool

本文探讨了HBase中由于内存碎片可能导致的Full GC问题，介绍了MemStore-Local Allocation Buffers (MSLAB) 和 MemStoreChunkPool 作为解决方案。MSLAB通过预分配内存块来减少Full GC，而MemStoreChunkPool则进一步管理无引用的chunk，避免频繁的Young GC。关键配置包括mslab的启用、chunk尺寸和最大分配尺寸等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

          

        Jvm使用过程中，一个比较重要的概念就是GC，Hbase是使用JAVA语言开发的，JVM的GC优化也是比较重要的一个优化方法。Hbase中对于写的数据key/value大小不固定，有可能有很对比较小即大小的key/value，就有很大的概率产生jvm内存碎片问题。举个例子：    

      当Jvm new一个2K大小的对象，JVM将无从heap分配它，因为找不到连续可用的内存空间来容纳这个对象，就算Heap当时还有500M的剩余空间，也无能为力。最终，JVM会选择触发Full GC重新压缩内存使之连续，然后再分配。

即触发Full GC，并不只有在内存满或达到触发比例的时候，还有可能是因为内存碎片。

产生内存碎片的主要原因是：

  • 分配的大小不一。
  • 分配的空间不连续。

如何检测因内存碎片触发了Full GC？
通过启动jvm时，添加 -XX:PrintFLSStatistics=1 参数来打印每次gc前后的Heap余量。较大的余量，可以怀疑Heap中存在内存碎片过多。
另外这篇blog有更详细的图文

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据技术-HBase：MSLAB介绍
黄刚的技术博客
05-21 3160
随着内存资源价格的降低，服务器的内存越来越大，很多都是达到96GB的。而HBase的RS又是内存耗用性的，很多时候我们为其分配了比较大的内存空间。但与此同时，很多人都会遇到配置大内存所导致的各种问题。 首先，我们知道HBase工作依赖于Zookeeper，RS会定期向Master进行状态汇报，如果长时间没有收到RS的汇报信息，Master会认为RS已经死掉，然后开始进行恢复操作。而Zookeep
HBase读写性能解析以及提升性能方案
。。。。。。
03-15 4807
HBase写流程原理 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lpCulF9X-1615795053119)(C:\Users\Administrator\Pictures\Saved Pictures\QQ截图20210223163312.png)] 1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。 2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespa
hbase针对fullgc所做的优化（Memstore所作的优化 针对BlockCache所作优化）
weixin_34238633的博客
04-02 172
先看：深入研究java gc https://blog.51cto.com/12445535/2372976老年代 CMS gc回收算法 对hbase的影响 https://blog.51cto.com/12445535/2373206 1、最原始的HBase CMS GC相当严重，经常会因为碎片过多导致Promotion Failure，严重影响业务的读写请求。2、分别是针对Memstore所作...
HBASE（Memstore的专属JVM策略MSLAB）
bigdata_player
04-11 1114
现在要提到一个全新的策略MSLAB，虽然它目的也是减少Full GC， 但是它的意义不止于此。就像我之前说的，堆内存足够大的时候发生Full GC 的停留时间可以长达好几分钟。解决这个问题不能完全靠JVM的GC回收 策略，最好的解决方案是从应用本身入手，自己来管好自己的内存空 间。 随着硬件科技的进步，现在的服务器内存可以达到32GB、64GB甚至 100GB，...
一篇文章搞懂 HBase 的 MSLAB
Shockang的博客
07-23 1052
HBase 中，MemStore 从本质上来看就是一块缓存，可以称为写缓存。众所周知在 Java 系统中，大内存系统总会面临 GC 问题，MemStore 本身会占用大量内存，因此 GC 的问题不可避免。堆内存足够大的时候发生 Full GC 的停留时间可能长达好几分钟，解决这个问题不能完全靠 JVM 的 GC 回收策略，最好的解决方案是从应用本身入手，自己来管好自己的内存空间。......
HBase MSLAB和MemStoreChunkPool源码
04-09 228
HADOOP&ZK&HBASE&YCSB集群搭建验证
08-21
HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证 HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证是大数据处理和存储的关键技术栈。该技术栈主要包括四个组件：HADOOP、ZOOKEEPER、HBASE 和 YCSB。了解这些技术的搭建和验证是大...
HBase高性能复杂条件查询引擎
02-21
该方案由一个智能交通解决方案演变而来，设计之初仅寄希望于通过二级索引提升查询性能，由于在前期架构时充分考虑了通用性以及对复杂条件的支持，在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。...
HBase数据库性能调优
05-01
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable...
HBase的MSLAB (memstore-local allocation buffer)
Mirt_的博客
02-08 1312
本文简要介绍了HBase的写缓存MemStore和数据结构，以及作为写缓存主要组件的MSLAB的作用和源码分析。MSLAB是memstore-local allocation buffer的简写，对MemStore的内存进行合理的规划管理，有效优化了Java程序的GC问题。
hbase中的MSLAB
zhangxiong0301的专栏
06-19 520
    CDH用MSLAB避免Hbase FullＧＣ   使用Hbase过程中如果出现长时间Stop-The-World GC，会造成以下两种影响：   1.     在Stop-The-World GC过程中，用户请求被阻塞，导致明显的延迟甚至超时。 2.     Hbase通过zookeeper维系集群节点存活。如果长时间没有向zookeeper发送ping消息，则mast...
推荐项目：MSLab - 快速搭建虚拟环境的利器
gitblog_00067的博客
05-15 517
推荐项目：MSLab - 快速搭建虚拟环境的利器 项目简介 MSLab 是一个由微软开发并托管在 GitHub 上的开源项目，旨在提供简单易用的 Hyper-V 虚拟化环境搭建工具。它以 MIT 许可协议免费开放给所有开发者，无需额外费用，并且对硬件要求较低，只需具备 8GB 内存和 40GB 硬盘空间即可运行。 技术剖析 MSLab 的核心是其脚本集，可以帮助你在部署阶段（Hydration ...
HBase Memstore专属JVM策略MSLAB机制深入剖析-OLAP商业环境实战
weixin_33804990的博客
12-01 234
本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。期待加入IOT时代最具战斗力的团队。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。 网上的Hbase调优资料参差不齐，实在是不忍卒读，有些都是拼凑且版本过时的东西，我这里决定综合所有优质资源进行整合，写一...
HBase MemStore GC问题、MSLAB内存管理模式、MemStore ChunkPool
weixin_43744992的博客
12-17 2897
一、问题分析 核心：HBase是使用Java语言开发的，所以需要依赖于JVM。 HBase的MemStore本质上是一块缓存，这就会面临Java的GC问题，在数据写入MemStore时，写入数据会产生内存碎片。并且RegionServer由多个Region组成，每一个Region根据列簇的个数多少具有相同数量的MemStore，MemStore的数据会混合在一起写入堆内存中（堆内存是共享的）。 二、过程分析 上图中不同颜色方块表示4个Region 白色方块为可分配空间 当Region3执行flush操作
HBase 的 MemStore 详解
最新发布
goTsHgo的博客
09-30 1689
MemStore 是 HBase 的内存存储区域，它是一个负责缓存数据写入操作的组件。每当有写操作（如Put或Delete）发生时，数据会首先被写入到 MemStore 中，而不是直接写入磁盘。MemStore 类似于数据库中的缓冲区，主要用于提升写操作的性能。当 MemStore 达到一定的容量时，数据会被刷新（flush）到磁盘上，形成 HFile 文件存储在 HDFS 中。HBase 中的 MemStore 是一个核心的缓存机制，它通过缓存写操作来提升写性能，并在合适的时机将数据刷写到磁盘。
Hbase--memstore作用
weixin_59295776的博客
09-06 306
当客户端的请求在到达regionserver之后，为了保证写入rowkey的有序性，所以不能将数据立刻写入到hfile中，而是将每个变更操作保存在内存中，也就是memstore中。当memstore达到一定的量之后，会将memstore里面的数据flush到hfile中，这样能充分利用hadoop写入大文件的性能优势，提高写入性能。WAL文件是追加、顺序写入的，WAL每个regionserver只有一个，同一个regionserver上所有region写入同一个的WAL文件。
深入理解HBase Memstore
depe16540458的博客
02-05 970
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn 小站博文地址：深入理解HBase Memstore MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。 HBaseMemstore 首先通过简单介绍HBase的读写过程来理解一下MemSt...
HBase之Memstore刷写
江河万川
08-25 7241
Hbase—Memstore HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；这里主要介绍写数据的部分，即Memstore。 当RegionServer(RS)收到写请求的时候(writerequest)，RS会将请求转至相应的Region。每一个Region都存储着一些列(a set of
HBase – Memstore Flush深度解析
jarth的专栏
10-18 1017
Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置，对hbase集群管理、性能调优都有着非常重要的帮助。 Memstore 概述 HBase中，Region是集群节点上最小的数据服务单元，用户数据表由一个或多个Region组成。在Region中每个ColumnFamily的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值