HBase的优化

Hbase集群调优 一:hbase现有硬件资源的理论性能 1.集群容量规划公式: 优化调整,发挥硬件的最大优势; Disk Size / Java Heap=RegionSize / MemstoreSize * ReplicationFactor * HeapFractionForMemstore *2 按照默认配置, RegionSize = 10G,对应参数为hbase.hregion.max.filesi... 阅读详情

1.配置高可用

1.1在conf下创建文件

touch conf/backup-masters

1.2在里面编辑要高可用的集群,然后分发

scp -r root@hadoop202:backup-masters /opt/module/hbase/conf/

2.预分区

每一个 region 维护着 StartRow 与 EndRow,如果加入的数据符合某个 Region 维护的RowKey 范围,则该数据交给这个 Region 维护。那么依照这个原则,我们可以将数据所投放的分区提前大致的规划好,以提高 HBase 性能。

2.1 手动创建预分区

create ‘staff1’,‘info’,SPLITS => [‘1000’,‘2000’,‘3000’,‘4000’]

2.2 生成 16 进制序列预分区

create ‘staff2’,‘info’,{NUMREGIONS => 15, SPLITALGO => ‘HexStringSplit’}

2.3 按照文件中设置的规则预分区
创建 splits.txt 文件内容如下:

aaaa
bbbb
cccc
dddd

执行:(默认文件路径,当前路径下)

create ‘staff3’,‘partition3’,SPLITS_FILE => ‘splits.txt’

注意点:

  • 会自动的进行排序,从小到大,所以b,c位置写错,也会自动排好
  • rowkey和分区键是按照字典顺序进行比较的大小的,为防止出现特殊值,
  • 一般情况下:将rowkey的前几个字节设置为和分区键一样的

rowkey的设计案例:

案例: 电话信息的存储,常用数据为查看的时间
在这里插入图片描述

3. 内存优化

HBase 操作过程中需要大量的内存开销,毕竟 Table 是可以缓存在内存中的,一般会分配整个可用内存的 70%给 HBase 的 Java 堆。但是不建议分配非常大的堆内存,因为 GC 过程持续太久会导致 RegionServer 处于长期不可用状态,一般 16~48G 内存就可以了,如果因为框架占用内存过高导致系统内存不足,框架一样会被系统服务拖死。

注:当MemStore使用总内存达到40%, 就会进入阻塞,直到38%才会继续写入, 而如果内存基数比较大,这个40%和38%的差值就会非常大,进入长期不可用状态

4.基础优化

1.允许在 HDFS 的文件中追加内容
hdfs-site.xml、hbase-site.xml

属性:dfs.support.append
解释:开启 HDFS 追加同步,可以优秀的配合 HBase 的数据同步和持久化。默认值为 true。

2.优化 DataNode 允许的最大文件打开数
hdfs-site.xml

属性:dfs.datanode.max.transfer.threads
解释:HBase 一般都会同一时间操作大量的文件,根据集群的数量和规模以及数据动作,
设置为 4096 或者更高。默认值:4096

3.优化延迟高的数据操作的等待时间
hdfs-site.xml

属性:dfs.image.transfer.timeout
解释:如果对于某一次数据操作来讲,延迟非常高,socket 需要等待更长的时间,建议把
该值设置为更大的值(默认 60000 毫秒),以确保 socket 不会被 timeout 掉。

4.优化数据的写入效率(开启压缩)
mapred-site.xml

属性:
mapreduce.map.output.compress
mapreduce.map.output.compress.codec
解释:开启这两个数据可以大大提高文件的写入效率,减少写入时间。第一个属性值修改为
true,第二个属性值修改为:org.apache.hadoop.io.compress.GzipCodec 或者其
他压缩方式。

5.设置 RPC 监听数量
hbase-site.xml

属性:hbase.regionserver.handler.count
解释:默认值为 30,用于指定 RPC 监听的数量,可以根据客户端的请求数进行调整,读写
请求较多时,增加此值。

6.优化 HStore 文件大小
hbase-site.xml

属性:hbase.hregion.max.filesize
解释:默认值 10737418240(10GB),如果需要运行 HBase 的 MR 任务,可以减小此值,因为一个 region 对应一个 map 任务,如果单个 region 过大,会导致 map 任务执行时间过长。该值的意思就是,如果 HFile 的大小达到这个数值,则这个 region 会被切分为两
个 Hfile。

7.优化 HBase 客户端缓存
hbase-site.xml

属性:hbase.client.write.buffer
解释:用于指定 Hbase 客户端缓存,增大该值可以减少 RPC 调用次数,但是会消耗更多内
存,反之则反之。一般我们需要设定一定的缓存大小,以达到减少 RPC 次数的目的。

8.指定 scan.next 扫描 HBase 所获取的行数
hbase-site.xml

属性:hbase.client.scanner.caching
解释:用于指定 scan.next 方法获取的默认行数,值越大,消耗内存越大。

9.flush、compact、split 机制
解释:

当 MemStore 达到阈值,将 Memstore 中的数据 Flush 进 Storefile;compact 机制则是把 flush出来的小文件合并成大的 Storefile 文件。split 则是当 Region 达到阈值,会把过大的 Region一分为二。

涉及属性:

hbase.hregion.majorcompaction:默认7天, 设置为0,比较耗费资源和时间,一般自己手动进行合并

即:128M 就是 Memstore 的默认阈值
hbase.hregion.memstore.flush.size:134217728

即:这个参数的作用是当单个 HRegion 内所有的 Memstore 大小总和超过指定值时,flush
该 HRegion 的所有 memstore。RegionServer 的 flush 是通过将请求添加一个队列,模拟生
产消费模型来异步处理的。那这里就有一个问题,当队列来不及消费,产生大量积压请求
时,可能会导致内存陡增,最坏的情况是触发 OOM。 hbase.regionserver.global.memstore.upperLimit:0.4
hbase.regionserver.global.memstore.lowerLimit:0.38
即:当 MemStore 使用内存总量达到hbase.regionserver.global.memstore.upperLimit 指定值时,将会有多个 MemStores flush 到文件中,MemStore flush 顺序是按照大小降序执行的,直到刷新到 MemStore 使用内存略小于 lowerLimit

实时系统HBase读写优化--大量写入无障碍 在使用hbase过程中发现在写入hbase的数据量很大时,经常发生写不进去的情况。而我们基于hbase的应用是对实时性要求很高的,一旦hbase不能读写则会大大影响系统的使用。下面将记录hbase写优化的过程。 1.禁止Major Compaction 在hbase进行Major Compaction时,该region将合并所有的storefile,因此整个region都不可读,所有对 阅读详情

相关推荐

天线学习笔记——串馈网络设计

工程中通常更倾向于使用50Ω、70.7Ω、100Ω的固定阻抗的带宽,实际中可以分别使用固定阻抗的带宽和计算得到的带宽进行仿真,观察二者的性能,取性能更优者即可。本系列是一个记录天线设计的笔记,分享出来也希望能够帮助到大家,后续本系列文章还会不定期更新,如有需要可关注,任何问题均可在评论区或私信提出,看到必回。如果对大家有帮助可进行打赏哦~

Ethan的博客 7883

Hbase集群升级与优化

战争从来都是拼后勤拼平台支撑的,天猫双十一这一天对于我们搜索事业部来说,就是一场高强度的数字化战争。为了这一天,各兄弟业务线的战友们已经摩拳擦掌,纷纷亮出各种新式武器,而我们原有的离线系统平台却渐渐显出疲态,慢慢被来自各业务线的不断提升的压力需求搞得捉襟见肘了。个性化搜索实时数据处理平台(Pora)在双十一将正式亮相,当时我们预计会有数以十亿计的新增HBase读写请求,如果不进行升级优化,原有的离

xgs 1987

自动驾驶仿真 (三)—— 基于PreScan与Simulink的AEB系统仿真

自动驾驶仿真三—— 基于PreScan&Simulink的AEB系统仿真1. AEB自动紧急制动系统1. 1 TTC碰撞时间模型1. 2 C-NCAP法规部分术语与定义1. 3 主动安全ADAS系统试验项目2. AEB仿真分析建模2.1 搭建场景2.2 传感器建模2.3 添加AEB控制系统3. 典型工况仿真3.1 CCRs仿真测试3.1 CCRm仿真测试4. 参考学习的书目教材 博主前面的博文已经介绍了Prescan&Simulink基本的场景建模及仿真分析流程,《自动驾驶仿真 (二)——

zhudj08的博客 1万+

大数据之Hbase:HBase优化

目录1.预分区2. RowKey设计3.内存优化4.基础优化 HBase优化 1.预分区 1.手动设定预分区 2.生成16进制序列预分区 3.按照文件中设置的规则预分区 4.使用JavaAPI创建预分区 2. RowKey设计 设计原则:长度原则,散列原则,唯一原则 1.生成随机数、hash、散列值 2.字符串反转 3.字符串拼接 3.内存优化 HBase操作过程中需要大量的内存开销,毕竟Table是可以缓存在内存中的,但是不建议分配非常大的堆内存,因为GC过程持续太久会导致RegionServer处于长期

weixin_43597208的博客 276

Java 多线程(1)---- 初识线程

前言 多线程想必大家都不会陌生。因为在日常使用和开发中,多线程的使用实在是太常见了。我们都知道,发明多线程的目的是为了更好的利用计算机的 CPU 资源。比如在一个进程中如果只有一个线程(也叫主线程),那么如果当这个线程因为某种原因阻塞(等待用户输入数据等情况)的时候,那么相对应的这个进程也让出了 CPU 资源并暂停执行了。试想一下,如果我们在一个进程中添加多个线程,那么当这个进程中某个线程阻塞的...

指点 1549

5分钟搞懂Paris公式:如何用裂纹扩展速率预测零件寿命(附Python代码示例)

本文详细介绍了Paris公式在裂纹扩展速率预测零件寿命中的应用,通过Python代码示例展示了从理论到实践的完整流程。文章涵盖了Paris公式的工程本质、寿命预测计算流程、几何修正因子选择以及实际案例演示,帮助工程师快速掌握这一关键技术。

weixin_29309475的博客 431

HBase性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写

Mac Track 4442

C#串口通信从入门到精通(11)——串口接收的数据存储到本地文件(txt、csv)

本文详细介绍如何将串口通信将数据进行本次存储,主要介绍常用的csv、txt格式文件,由多年实战经验总结,绝对干货!

qq_34059233的博客 7240

Hbase优化指南

本文对hbase集群进行优化,主要涵盖硬件和操作系统,网络通信,JVM,查询,写入,核心服务,配置参数,zookeeper,表设计等多方面。我们对hbase的应用主要是用户画像,根据自身...

a934079371的博客 334

深入大模型-13-大模型Skills应用之标准目录结构和开发一个Skill的步骤

首先对比Prompt工程,上下文工程,Skills工程,MCP工具的概念与区别,然后介绍Skill的标准目录结构,同时描述了开发一个Skill的步骤和最佳实践。

qq_20466211的博客 748

华为OD机考双机位C卷 - 虚拟理财游戏(Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 虚拟理财游戏(OD上机考试双机位C卷)。提供Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。

算法大师! 670

【hadoop生态之Hbase】HBASE的优化【笔记+代码】

三、HBase的优化 3.1、高可用 在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1) 关闭HBase集群(如果没有开启则跳过此步) $ bin/stop-hbase.sh 2) 在conf目录下创建backup-masters文件 $ touch conf/backup-masters 3

qq_43149373的博客 565

华为OD机试双机位C卷:日志排序 (Py/C/C++/Java/Js/Go)

华为OD机试双机C卷真题【日志排序】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。华为OD机试-日志排序。

qq_45776114的博客 1754

HBase读写优化

一个系统上线之后,开发和调优将一直贯穿系统的生命周期中,HBase也不列外。这里学习下HBase的调优。Hbase查询优化作为NoSQL数据库,增删改查是其最基本的功能,...

微信搜:import_bigdata,大数据领域硬核原创作者 418

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

HBase优化

目录高可用预分区RowKey设计内存优化基础优化总结(hbase的优化) 高可用 在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1.关闭HBase集群(如果没有开启则跳过此步) bin/stop-HBase.sh 2.在conf目录下创建backup-masters文件 touch conf/

Knight 567

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

HBase 性能优化 详解

在深入讨论优化策略之前,先简单回顾 HBase 的核心架构和工作原理。想要详细了解可以看我的HBase架构介绍。1.1 HBase 架构HMaster:负责元数据管理和 Region 的分配、迁移等操作。:负责数据的读写,管理多个 Region,存储实际的数据。ZooKeeper:作为分布式协调服务,管理集群状态和协同操作。HBase 通过分区(Region)存储数据,每个 Region 对应一定范围的 Row Key。当数据量超过设定的阈值时,Region 会进行自动切分。1.2 数据存储原理。

goTsHgo的博客 2301

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Hbase优化

第7章 HBase优化 7.1 高可用 在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1.关闭HBase集群(如果没有开启则跳过此步) [atguigu@hadoop102 hbase]...

weixin_33937913的博客 217

HBase内容分享(五):HBase读写性能优化

HDFS数据通常存储三份,假如当前RegionA处于Node1上,数据a写入的时候三副本为(Node1,Node2,Node3),数据b写入三副本是(Node1,Node4,Node5),数据c写入三副本(Node1,Node3,Node5),可以看出来所有数据写入本地Node1肯定会写一份,数据都在本地可以读到,因此数据本地率是100%。这里需要澄清一下,如果不对列数据做限制,数据总是一行一行返回的,即使一行数据大小大于设置的返回结果限制大小,也会返回完整的一行数据。

之乎者也·的博客 3067

HBase优化总结

一.前述 HBase优化能够让我们对调优有一定的理解,当然企业并不是所有的优化全都用,优化还要根据业务具体实施。 二.具体优化 1.表的设计 1.1 预分区 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。 复制代码 public

danyWui的博客 303

hbase数据读取优化_HBase读写优化

一个系统上线之后,开发和调优将一直贯穿系统的生命周期中,HBase也不列外。这里学习下HBase的调优Hbase查询优化作为NoSQL数据库,增删改查是其最基本的功能,其中查询是最常用的一项。设置Scan缓存HBase中Scan查询可以设置缓存,方法是setCaching(),这样可以有效的减少服务端与客户端的交互,更有效的提升扫描查询的性能。/*** Set the number of rows...

weixin_39928003的博客 228

hbase数据读取优化_一个Hbase数据读取优化的小例子

今天群里有个有经验的大神提了一个问题(@尘事随缘),记录下来。A君搭建一个小型的集群,7台DataNode,一台主节点。需求是这样:通过MR程序去读取Hbase表里面的数据,程序运行后发现速度比较慢,通过查询任务详细发现,累计需要1542个Map完成,目前有14个MAP在执行。客户对此速度表示不满意,请问如何优化?首先通过Job看,有1542个Map需要执行,说明Hbase,有1542个分区(每个...

weixin_39725193的博客 170

hbase数据读取优化_HBase性能优化-总结篇

1、hbase.hregion.max.filesize应该设置多少合适默认值:256M说明:Maximum HStoreFile size. If any one of a column families' HStoreFiles has?grown to exceed this value, the hosting HRegion is split in two.HStoreFile的最大值。...

weixin_39760650的博客 370

HBase(三):集成Hive、HBase优化

HBase结合Hive分析数据、HBase优化

学习记录和总结 1万+

HBase 优化总结

1.高可用 HBase 中的 Hmaster 存在单点故障隐患, 故需要配置 HA, HBase 原生支持对 Hmaster 的 HA 步骤如下: 1.关闭HBase集群(如果没有开启则跳过此步) [rayfun@hadoop102 hbase]$ bin/stop-hbase.sh 2.在conf目录下创建backup-masters文件 [rayfun@hadoop102 hb...

RayfunC的博客 495
上一篇: hbase和hive交互
下一篇: hbase案例
First_____
博客等级 码龄6年 132粉丝 150原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值