如何避免HBase写入过快引起的各种问题

最新推荐文章于 2024-02-12 00:46:17 发布
最新推荐文章于 2024-02-12 00:46:17 发布
阅读量341 收藏
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44037478/article/details/85774297
版权
本文介绍了HBase写入过程，分析了写入过快导致的memstore水位过高、RegionTooBusyException等问题，以及可能的JVM OOM情况。提出了解决方案，包括调整flush和compaction参数，限制队列大小，以防止服务器过载。建议关注配置如：hbase.hregion.memstore.flush.size、hbase.regionserver.global.memstore.upperLimit、hbase.ipc.server.max.callqueue.size等，以实现更稳定的HBase写入操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先我们简单回顾下整个写入流程

  1. client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem

整个写入流程从客户端调用API开始，数据会通过protobuf编码成一个请求，通过scoket实现的IPC模块被送达server的RPC队列中。最后由负责处理RPC的handler取出请求完成写入操作。写入会先写WAL文件，然后再写一份到内存中，也就是memstore模块，当满足条件时，memstore才会被flush到底层文件系统，形成HFile。

667

当写入过快时会遇见什么问题?

写入过快时，memstore的水位会马上被推高。

你可能会看到以下类似日志：

  1. RegionTooBusyException: Above memstore limit, regionName=xxxxx ...

这个是Region的memstore占用内存大小超过正常的4倍，这时候会抛异常，写入请求会被拒绝，客户端开始重试请求。当达到128M的时候会触发flush memstore，当达到128M * 4还没法触发flush时候会抛异常来拒绝写入。两个相关参数的默认值如下：

  1. hbase.hr
最低0.47元/天 解锁文章
Flink 读写 HBase 总结
主要分享大数据相关的知识，如Spark、Hudi
12-09 1620
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试)
热门推荐
牛_plus_plus的专栏
02-20 1万+
首先描述一下现象 最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。 在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServer总是不愠不火特淡定。有些人就怀疑是磁盘到瓶颈了？还有些人怀疑是不是GC拖累了？ 总之网上大部分测试都是黑盒测试嘛，大家也就乱猜呗。 下面我仔
【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题
weixin_33989058的博客
04-02 536
首先我们简单回顾下整个写入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem 整个写入流程从客户端调用API开始，...
Hbase配置参数的魅力
Mac Track
06-07 2489
这个测试分析由淘宝网架构师毕玄给出的，原文参考：http://blog.bluedavy.com/?p=236， 从中我们可以看到Hbase的配置参数的无穷魅力，通过参数的调整能够使Hbase更加适合我们的具体业务场景。================分割线======================Facebook在谈到其选择HBase作为新的message体系的存储时，提到了一点是hb
HBASE优化写入速度
u013059060的博客
08-05 609
HBASE优化写入速度 （1） hbase.regionserver.handler.count=100 （原始值30） （2） HTable htable = new HTable(config, tablename); htable.setWriteBufferSize(10 * 1024 * 1024); htable.setAutoFlush(false); 设置buffer的容量，例子中设置了10MB的buffer容量。 禁止auto flush。 （3） Put put = new Put(ro
【分布式数据库】HBase读写性能调优（一）
康师傅没有眼泪
10-24 5527
HBase关键参数配置如果同时存在读和写的操作，这两种操作的性能会相互影响。如果写入导致的flush和Compaction操作频繁发生，会占用大量的磁盘IO操作，从而影响读取的性能。如果写入导致阻塞较多的Compaction操作，就会出现Region中存在多个HFile的情况，从而影响读取的性能。所以如果读取的性能不理想的时候，也要考虑写入的配置是否合理。
hbase占用内存过高_HBase——系统调优
weixin_39846089的博客
12-20 685
JVM层HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对此进程做适量放大heap 的操作，但不可太大。RegionServer在写入数据时，数据会先保存在mem...
hbase性能调优
05-06
- 当StoreFile数量超过该值时，新数据将先进行Split或Compaction，以避免MemStore因等待Flush而导致写入操作被阻塞。 ##### 6. `hbase.regionserver.global.memstore.upperLimit` 和 `hbase.regionserver.global....
Hbase倾斜优化实践
天道不一定酬勤，但天道只会酬勤
09-22 922
Hbase 作为一个分布式的、多版本的开源 KV 数据库，面对大数据也能提供随机的、实时的读写性能。那么，性能如此强大的 Hbase，内部的数据存储结构是怎样设计的呐？基于其存储结构，其读写过程又是怎样的呐？难道 Hbase 就没有弊端了吗？在实践中我们如何去应用 Hbase？接下来我们将一步一步揭开这些问题的面纱。
关闭hbase的Hlog从而提高写入速度
qq_34896163的博客
12-25 878
跳过写入Hlog，提高写入速度 Put put = new Put(Bytes.toBytes(k2.toString())); put.setDurability(Durability.SKIP_WAL);
大数据培训HBase读写性能优化的详解
weixin_45695430的博客
05-09 289
一、HBase 读优化 1. HBase客户端优化 和大多数系统一样，客户端作为业务读写的入口，姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法，这里一般需要关注四个问题： 1) scan缓存是否设置合理？ 优化原理：在解释这个问题之前，首先需要解释什么是scan缓存，通常来讲一次scan会返回大量数据，因此客户端发起一次scan请求，实际并不会一次就将所有数据加载到本地，而是分成多次RPC请求进行加载，这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业
HBase写性能初步测试
张包峰的博客
06-11 4919
在本机上对线下HBase集群做了初步的写性能测试，下面对测试内容做详细说明。 批量写性能提升不少 线上应用最好是禁用buffer刷写功能的，即每一个Put一次RPC写，不过看到这种情况下写速度慢，考虑到机器、网络环境的差别的话，估计能上1K 启用buffer刷写功能的话，要避免未flush的put记录丢失。（HTable在close的时候最后是会自动flush，我们在写服务节点故障的时候也需要flush一次） Rowkey哈希后性能有小量提升 Rowkey Hash之后对写性能的确有小量提升，但如果要
Hbase读写性能分析
wangxizzz的博客
08-18 4600
读者人群 本文章适合有一定 的Hbase基础的读者阅读，比如已经知道了Hbase的读写流程、基本架构这些知识。掌握了这些知识更易理解本文章和加深印象。 参考链接：Hbase读写性能分析...
HBase写性能优化策略
happy19870612's blog
11-13 8122
HBase写入通常会遇到两种问题： # 写的性能很差 # 根本写不进去 一 HBase写入性能优化 1.1 是否需要写WAL? WAL是否需要同步写？ WAL机制可以确保数据即使写入缓存的数据丢失了，也可以恢复；另外是为了集群之间的异步复制。默认WAL机制开启，且使用同步机制写入WAL. 我们可以考虑是否需要写入WAL,通常大多数企业业务都会开启，但是对于部分业务可能并不特别
hbase 读写调优_HBase 写入优化
weixin_42172972的博客
12-24 1468
一、Hbase 写入慢时的集群异常指标关于hbase写入优化的文章很多，这里主要记录下，生产hbase集群针对写入的一次优化过程。hbase写入慢时，从hbase集群监控到的一些指标 -hbase 采用HDP 2.6 ，Hbase -1.1.2HBase的吞吐量 达到一个峰值之后，瞬间下降，无法稳定 ，对应的Grafana 面板-RPC Received bytes/shbase 每台服务器的...
HBase读写性能解析以及提升性能方案
。。。。。。
03-15 4740
HBase写流程原理 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lpCulF9X-1615795053119)(C:\Users\Administrator\Pictures\Saved Pictures\QQ截图20210223163312.png)] 1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。 2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespa
HBase性能优化：提高HBase的读写性能
AI天才研究院
01-24 877
1.背景介绍 HBase性能优化：提高HBase的读写性能 1. 背景介绍 HBase是一个分布式、可扩展的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、ZooKeeper等组件集成。HBase的核心特点是提供低延迟、高可扩展性的数据存储和访问。 在实际应用中，HBase的性能对于系统的稳定运行和高效处理都是关键因素。因此，优化HB...
hbase 读写调优_hbase读写优化
weixin_32434033的博客
01-14 641
一、hbase读优化客户端优化1、scan缓存是否设置合理？优化原理：一次scan请求，实际并不会一次就将所有数据加载到本地，而是多次RPC请求进行加载。默认100条数据大小。优化建议：大scan场景下将scan缓存从100增大到500或者1000，以减少RPC次数2、get请求是否可以使用批量请求？优化原理：Hbase分别提供了单条get以及批量get的API接口，使用批量get接口可以减少客户...
HBase数据读写性能优化技巧
AI天才研究院
02-12 97
1.背景介绍 Apache HBase是一个开源的非关系型分布式数据库（NoSQL），它是Google BigTable的开源实现，用于处理大量的非结构化数据。HBase的主要特点是高可靠性、高性能、列存储、可扩展、支持压缩、在内存中运行，以及支持实时读写等。然而，由于其特殊的数据模型和架构，HBase的性能优化需要一些特殊的技巧和方法。本文将详细介绍
用phoenix写入hbase乱码
最新发布
01-02
### 解决Phoenix写入HBase时的中文字符编码问题 当使用Apache Phoenix向HBase中写入数据时，可能会遇到中文字符乱码的情况。这一现象通常由字符集不匹配引起。为了确保正确处理中文字符，需确认客户端和服务端均...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值