HBase的minor major compact

关于Hbase手动实现Major Compact的办法 本人小菜,如有错误或疏漏之处,请各位大牛批评指正,求共同进步。发表此博文,旨在帮助遇到类似问题的朋友一点小的建议或思路。废话少说,开始吧。。。       最近,因项目需要。Hbase数据量很大,项目组提出需要对Hbase中目前所有表(当前有5个)进行major_compact操作。是按照需要,每天凌晨3点自动执行major_compact操作。             具体实现:     阅读详情


    *hbase为了防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file,这个过程就称之为compaction。
     
    *我们都知道compact分为两类,一类叫Minor compact ,一类叫Major compact,两者有什么区别呢?
        *Minor compact只是进行文件merge操作
            *hbase.hstore.compaction.min :默认值为 3,表示至少需要三个满足条件的store file时,minor compaction才会启动
            *hbase.hstore.compaction.max 默认值为10,表示一次minor compaction中最多选取10个store file
            *hbase.hstore.compaction.min.size 表示文件大小小于该值的store file 一定会加入到minor compaction的store file中
            *hbase.hstore.compaction.max.size 表示文件大小大于该值的store file 一定会被minor compaction排除
            *hbase.hstore.compaction.ratio 将store file 按照文件年龄排序(older to younger),minor compaction总是从older store file开始选择,
             如果该文件的size 小于它后面hbase.hstore.compaction.max 个store file size 之和乘以该ratio,则该store file 也将加入到minor compaction 中。
            
            
        *Major compact除了做文件Merge操作,还会将其中的delete项删除。
            *major compaction 的功能是将所有的store file合并成一个,触发major compaction的可能条件有:
                *major_compact 命令
                *majorCompact() API
                *region server自动运行
                    (相关参数:hbase.hregion.majoucompaction 默认为24 小时、hbase.hregion.majorcompaction.jetter 默认值为0.2 防止region server 在同一时间进行major compaction)。
                     hbase.hregion.majorcompaction.jetter参数的作用是:对参数hbase.hregion.majoucompaction 规定的值起到浮动的作用,假如两个参数都为默认值24和0,2,那么major compact最终使用的数值为:19.2~28.8 这个范围。(24*0.8~24*1.2)

 

详细了解Compact过程见下文:

https://blog.youkuaiyun.com/mt0803/article/details/9372227

 

 

 

 

 

Abaqus CEL分析必备:Hypermesh网格导出与inp文件合并技巧 本文详细介绍了在Abaqus CEL分析中使用Hypermesh生成六面体网格并合并多组件inp文件的完整流程。从单元类型设置(EC3D8R)、网格质量优化到inp文件合并技巧,提供了一套解决流固耦合仿真前处理痛点的实战方案,帮助工程师高效完成复杂CEL分析任务。 阅读详情

相关推荐

Claude Code 的 Subagent 到底怎么用?

Subagent是ClaudeCode中的专业化AI代理系统,每个代理专注单一领域(如代码审查、数据库设计),具备独立记忆空间和并行处理能力。适用于中大型项目开发,通过配置文件定义代理职责与权限,可显式调用或自动触发多代理协作。典型场景包括代码安全审查、全栈并行开发和技术方案对比。使用时需注意避免过度拆分、权限过宽等陷阱,结合链式工作流和负载均衡可显著提升效率。实测在电商项目开发中能缩短20%工期并提升40%性能。

bgeyq的博客 1994

HBase Minor&Major Compaction 解析

众所周知,Apache HBase是一个分布式的基于于读性能优化的列式存储,读性能的优化来自于每个列簇对应一个文件。HBase最初思想来源于Google文件系统。一个列簇对应一个文件的情况并不保证这样,尤其是在HBase频繁写的时候,因此HBase需要一种机制把HFiles合并以减少最大磁盘寻址开销以提高读性能。这个过程称为compaction。Compaction有两方式:major compac

数据源的港湾 4531

Haystack框架实战:从零构建企业级智能问答系统

自然语言处理(NLP)技术通过让计算机理解和生成人类语言,正在深刻改变信息检索与交互方式。其核心原理在于将文本转化为机器可处理的向量表示,并通过语义相似度计算实现精准匹配。这一技术价值在于能够从海量非结构化数据中快速提取精准信息,大幅提升知识获取效率。在工程实践中,检索增强生成(RAG)架构结合了密集向量检索与大语言模型生成能力,成为构建智能问答、知识库助手等应用的主流方案。该架构通过将用户查询与文档库进行语义匹配,并为大语言模型提供精准上下文,有效提升了回答的准确性与可追溯性。本文以Haystack这一生

weixin_42521032的博客 579

HBase原理 | HBase Compaction介绍与参数调优

我们知道,数据达到HBase服务端会写WAL-写Memstore,然后定期或满足一定条件时刷写磁盘生成一个HFile文件,随着时间推移生成的HFile会越来越多,将会影响HBase查询性能,同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。 1.两种合并 HBase中Compaction分为两种。Minor Compaction称为小合并,主要是选取一些小的、相邻的HFile将他们合并成较大的HFile,并删除HFile中的过期数据。Major Comp

萌兔兔MMQ!! 644

高速DAC时钟与配置实战:DAC5681Z硬件设计与寄存器编程详解

在高速数据转换系统中,时钟信号是决定系统性能的核心要素,其稳定性和纯净度直接影响数模转换器(DAC)的输出频谱纯度与动态范围。时钟电路的设计原理涉及信号完整性、阻抗匹配与直流偏置,而内部锁相环(PLL)和延迟锁相环(DLL)的配置则是实现精确时序控制的关键技术。这些技术的价值在于,它们共同保障了高速通信、雷达和任意波形生成等应用对信号实时性与精度的严苛要求。本文聚焦于德州仪器(TI)的DAC5681Z,深入解析其外部时钟输入电路的硬件设计要点,包括端接电阻的计算与选型,并详细拆解通过串行外设接口(SPI)对

weixin_30342363的博客 191

STM32+EC800M-CN 4G模块数据透传踩坑实录:从AT指令调试到花生壳内网穿透

本文详细介绍了STM32与移远EC800M-CN 4G模块的数据透传实现过程,包括硬件连接、AT指令调试、TCP连接建立以及花生壳内网穿透配置。通过实战案例和代码示例,帮助开发者快速解决4G通信模块在物联网应用中的常见问题,提升数据传输稳定性。

weixin_42715608的博客 329

HBase Minor Compaction和Major Compaction

背景 HBase在将数据落盘到HDFS上之后,为了解决小文件并提高数据访问效率,定义了两种方式来合并HFile文件。 1. Minor Compaction 控制Minor Compaction的几个参数及说明: 参数名 默认值 描述信息 hbase.hstore.compaction.min 3 表示至少要有三个文件满足minor合并要求时才会启动minor合并 hbase.hstore.compaction.mix 10 表示一次minor合并最多选择10个store file进行合

Chdaring的博客 1398

Python 爬取网页文字并保存为 txt 文件教程

将要爬取的网页网址赋值给变量url。

2403_89537385的博客 2792

hbase compact和split策略

---compact split笔记   compact策略: 在启动region之后,memflush之后,用户compact调用compact 使用策略类needsCompaction方法,hfile数量大于hbase.hstore.compaction.min 和 hbase.hstore.compactionThreshold的最大值数(默认值为3)   major com...

369

Ubuntu关闭更新提醒的三层控制方法:从GUI到APT配置

Linux系统更新机制本质上是包管理器(APT)驱动的自动化运维流程,其核心原理在于分离‘元数据刷新’、‘安全补丁安装’和‘用户通知’三个职能。这种分层设计既保障了基础安全性,又为系统管理员提供了策略定制空间。技术价值体现在提升生产环境稳定性、规避未经验证的内核/驱动升级风险,并支持ROS、Blender渲染、工业控制等对时序敏感的应用场景。本文聚焦Ubuntu系统入门教程中高频需求——科学关闭软件更新提醒,覆盖Ubuntu 20.04及LTS版本的GUI设置、systemd服务禁用与APT配置修改三大实操

weixin_29698641的博客 396

伺服系统控制原理深度解析

摘要:本文系统阐述了伺服系统的控制原理与应用。首先介绍了伺服系统的定义、组成及其在工业自动化中的重要性;然后详细分析了反馈控制机制、稳定性判据和性能指标;重点推导了传递函数和状态空间两种数学模型,并通过LaTeX公式展示了二阶系统建模过程;进而对比了PID控制、状态反馈及自适应控制等方法的优缺点;最后结合数控机床等案例,验证了理论方法的有效性,并展望了伺服系统智能化发展趋势。全文兼顾理论深度与实践指导性,为控制工程领域提供了系统的技术参考。

技术工作者 1268

HBase什么时候做minor major compact

我们都知道compact分为两类,一类叫Minor compact ,一类叫Major compact, 两者有什么区别呢? 两者的区别在于:Minor compact只是进行文件merge操作,而Major compact除了做文件Merge操作,还会将其中的delete项删除。 [quote]There are two types of compactions: minor and ma...

Brianf 455

服务部署之配置WSUS更新服务(基于Windows配置 Server 2022)

服务部署之配置WSUS更新服务(基于Windows配置 Server 2022)

2301_77192876的博客 2216

HBase什么时候作minor major compact

HBase什么时候做minor major compact我们都知道compact分为两类,一类叫Minor compact ,一类叫Major compact,两者有什么区别呢?两者的区别在于:Minor compact只是进行文件merge操作,而Major compact除了做文件Merge操作,还会将其中的delete项删除。   hbase为了防止小文件(被刷到磁盘的menstore...

weixin_34179968的博客 117

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

HBase major_compact

一、major_compact的操作目的 (1)合并文件 (2)清除删除、过期、多余版本的数据 (3)提高读写数据的效率 HBase中实现了两种compaction的方式:minorandmajor.Minorcompactionswillusuallypick...

chengyu1850的博客 4889

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

HBase的compact分析

HBase是基于LSM树存储模型的分布式NoSQL数据库。LSM树对比普遍的B+树来说,能够获得较高随机写性能的同时,也能保持可靠的随机读性能(可参考这里)。在进行读请求的时候,LSM树要把多个子树(类似B+树结构)进行归并查询,对于HBase来说,这些子树就是HFile(还包括内存上的树结构MemStore)。因此归并查询的子树数越少,查询的性能就越高。 Compact的作用    

PunC的专栏 1981

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

HBase的MinorCompact的详细解析

首先说一下Compact的作用: 在Memstore超过一定的阈值的时候,就要新开一个进程将Memstore flush到storefile中,新的Memstore继续写入接受到的数据,当storefile越来越多时,就会降低读的性能,为了提高读的性能,可以对这些storefile进行compact操作,形多个storefile合并成一个大的storefile,那么compact就需要对HBase...

从此一心向前,别无它念 2379

关于HBASE中compact的解释

HBASE 中compact 用途是什么?什么时候触发?分为哪两种?有什么区别?有哪些相关配置参数? 在hbase 中每当有memstore 数据flush 到磁盘之后,就形成一个storefile,当storeFile 的数量达到一定程度后, 就需要将storefile 文件来进行compaction 操作。 Compact 的作用: 1、合并文件 2、清除过期,多余版本的数据 3、提高读写数据...

努力努力再努力!的博客 3189

Hbase compact以及split跟踪

为了准确了解HBASE内部工作原理,我们需要做一些测试,在大量数据插入的情况下,HBASE内部到底有什么表现? 比如插入速度, hstore compact,split等相关活动,了解了这些才能更好的维护HBASE系统本身。 此次测试会有几轮,所以测试到哪里就写到哪里,我随便找了一张大概120W来的表,我会写一个mapreduce任务,来读取这张表,再写入另外一个测试表: test2, 没有选择更大的表是因为毕竟整个拷贝是需要时间,通常20分钟-30分钟,太大的表,不太利于跟踪。 拷贝过程,HBASE会

huaxia2002的博客 285

HBase的flush(刷写)及compact(合并)机制

简要的介绍了HBase的刷写与合并机制

凉茶铺的博客 1818

hbase学习笔记-flush、compact机制

1 Flush机制 (1)当memstore的大小超过这个值的时候,会flush到磁盘,默认为128M <property> <name>hbase.hregion.memstore.flush.size</name> <value>134217728</value> </property> (2)当memst...

陈同学 582

【HBase】(6)-Compact合并StoreFile流程

  简 介:HBase是谷歌BigData论文的一个代码实现,在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得,如有错误,欢迎大家指正。   关键词:大数据组件、HBase、NoSQL 一、Compact合并StoreFile文件 我们每次put一条数据,都会将其写入到MemStore中,然后达到一定条件后,将其flush到HDFS中,久而久之这样就会产生过多的小文件,我们就需要定期或者按照一定约束进行合并,产生的多个StoreFile如下图: 此时可以看到有..

优快云 精品推荐 755

Hbase的MinorCompact过程解析及参数调优

在Memstore超过一定的阈值的时候,就要新开一个进程将Memstore flush到storefile中,新的Memstore继续写入接受到的数据,当storefile越来越多时,就会降低读的性能,为了提高读的性能,可以对这些storefile进行compact操作,形多个storefile合并成一个大的storefile,那么compact就需要对HBase的数据进行多次的重新读写,这将产生大量的IO操作,所以Minor操作只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期

南风知我意 1870

storeFile合并(compact)

memstore的flush操作会逐渐增加磁盘上的storeFile文件,当文件数量达到一定程度后,会将这些文件合并成规模更小但更大的文件,当最大的文件达到设置的阈值后,会进行region 的切分 Compact 的作用: 1>.合并文件 2>.清除过期,多余版本的数据 3>.提高读写数据的效率 HBase 中实现了两种 compaction 的方式:minor and...

weixin_39950222的博客 1012

HBase之MinorCompact全程解析——讲解的比较透彻的文章

Compact作用        当MemStore超过阀值的时候,就要flush到HDFS上生成一个HFile。因此随着不断写入,HFile的数量将会越来越多,根据前面所述,HFile数量过多会降低读性能。为了避免对读性能的影响,可以对这些HFile进行compact操作,把多个HFile合并成一个HFile。compact操作需要对HBase的数据进行多次的重新读写,因此这个过程会产生大量的...

BigData_Mining的博客 1177

HBase 触发数据删除的方式

1.flush 同一个内存中flush操作将过时数据删除;但是对于磁盘上跨文件的过时数据不能删除,磁盘上有文件时,对当前内存进行flush操作,不会读磁盘上的文件,就不会删除磁盘上的过时数据。 2.compact(Major Compaction) Compaction 分为两种,分别是 Minor Compaction 和 Major Compaction。Minor Compaction 会将临近的若干个较小的 HFile 合并成一个较大的 HFile,但不会清理过期和删除的数据。Major C

weixin_43955488的博客 916
上一篇: 查看虚拟机里的Centos7的IP
下一篇: 完全分布式的HBase集群搭建
Rita楠神
博客等级 码龄9年 27粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值