hbase写入一段时间后变的越来越慢

最新推荐文章于 2025-06-26 18:06:25 发布
原创 最新推荐文章于 2025-06-26 18:06:25 发布 · 置顶 · 6k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #phoneix #kibana #sparkstreaming #kafka

本文分析了一起HBase写入变慢，进而影响SparkStreaming任务延迟的问题。通过排查Kafka和HBase，发现Kafka端已解决阻塞，而HBase存在写热点、线程堆栈卡顿及频繁创建连接的情况。借助ELK日志搜集，定位到写等待主要发生在特定regionserver，进一步排查发现网络丢包问题。停用问题regionserver后，性能恢复正常。

一、概况

集群环境如下表：

集群 机器 存储 内存 CPU 每日数据        
HW大数据平台 160台 6PB 10TB 8000 10亿        

 

数据存储在kafka中，130个分区，采用sparkstreaming将数据清洗后，通过phoneix批量写入hbase。

 

二、kafka原因排查

sparkstreaming拉取kafka的时候，卡死在这一步，如下图所示：

sparkstreaming读取kafka的数据采用Direc

最低0.47元/天 解锁文章
Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化
lwb314的专栏
03-31 2332
场景 HDFS上存储了大量的parquet文件，我需要抽取其中几个字段存储到HBASE里。 中间出现了一个问题，应该是一次批量提交的数据量太多了，所以一致卡着，提示： INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table: 网上没超导怎么解决，最后自己优化了一下代码解决了 代码 主函数:HBase2HDFSLocalTest import org.apache.spark.sql.{DataFrame
如何封装一个线程安全、可复用的 HBase 查询模板
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
05-02 12万+
本文探讨了如何封装一个线程安全、可复用的 HBase 查询模板。通过引入基于 AtomicReference 的连接懒加载机制和函数式接口封装查询执行逻辑，本文提供了一种高效的 HBase 查询解决方案。文章详细阐述了 HBase 连接池的实现、查询模板的设计与优化，以及如何在实际业务中应用这些技术。通过完整的案例演示，本文帮助开发者解决 HBase 查询中的常见问题，提高系统性能和可维护性。
hbase 错误调用表读方法引发的血案
humanity11的博客
12-10 3303
记一次错误调用hbase读方法引发的血案 需求说明 目前公司的数据库存在上前亿级别的GPS坐标点，数据量在几十至百TB级别，这些坐标需要获取从百度、高德等网站上更新获取该点对应的服务信息,即一个坐标点对应一条该坐标的描述信息。如果将这些坐标全部按一个点一个 点 的查询下载，按照目前我们的查询Http接口带宽限制，至少需要1年多。通过抽样调研后发现，这些坐标里存在有大量的重复数据，重复率接近80...
HBASE我遇坑之client.AsyncProcess: #1, waiting for 5012 actions to finish
泰格数据
11-06 1万+
项目使用phoenix连接HBASE，数据用spark处理后通过phoenix批量插入到HBASE中， 其中，提交频率为5000条提交一次   发现插入表大的时候，速度变慢，查看日志发现如下线索： client.AsyncProcess: #1, waiting for 5012 actions to finish         查看网上很多线索，主要有几种解释： 一种是ZK的
HBase写入性能太低
m0_57320261的博客
04-18 1357
HBase 是基于 LSM tree 数据结构实现的，在写入时需要进行数据排序、合并等操作，相比 HDFS 的追加写入来说，延迟会更高。可以通过优化 HBase 的配置或者选择其他的 NoSQL 数据库来提升性能，同时也可以考虑在 Flink 中增加缓存等方式，提高写入效率。而 HBase 是分布式数据库，每个 RegionServer 只负责一部分数据，写入时可能存在热点问题，导致性能较差。Flink 在写入 HBase 时，默认只有一个并发度，如果数据量较大，可能会导致写入过慢。
记一次hbase写入慢排查分析
kobexzf的博客
07-07 1914
版本：1.2.6现象：hbase写入耗时长，单机slow put数量上升，单机flush慢，内存达到高水位block request至高水位下(内存达到低水位会不断flush至低水位下)，目前24G内存，高水位9.6G(240.4)，低水位7.68G(9.60.8)具体分析：1 flush慢 并非写入hdfs慢，怀疑是scan耗时太长，甚至可能死锁了2 flush的size大 很好理解，并不是说达到128MB立即就flush了，是扔到flush队列了，flush队列可能有普通region的flush(队列，
hbase大规模数据写入的优化历程
Forever-守望
06-04 1万+
业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，Elasticsearch，hbase等，在此选用了Hbase来实践。 step 1 : 直接hbase建表，然后读取记录文件逐条写入Hbase。由于hbase实际的写入速度远
【HBase写入事务处理详解】：NoSQL中的ACID实践指南
![【HBase写入事务处理详解】：NoSQL中的ACID实践指南]... HBase写入事务处理概述 在大数据的海洋中，HBase 作为 Hadoop 生态系统中的关键组件，承担了存储和处理海量数据的重要任务。随
HBase详解
chuige2013的博客
09-02 1387
1、 学HBase的意义是什么1、 学HBase的意义是什么我本想用MySQL来与HBase作比较，但发现他们两者毫无可比性，因为两者运用领域不同，各自有各自的优点，就好比爬山穿登山鞋，潜水穿脚蹼一般。一门技术的兴起，一个优秀的开源项目的存在肯定是有它所存在的意义，正如大数据一样，正是因为随着时间的发展，随着技术的发展导致我们每天的数据增量达到一个非常庞大的状态，同时在数据之中又能挖掘到很多有用的信息。所以才有了大数据技术的飞速发展。
应用向HBASE写入慢
songlai1986的博客
03-29 244
HBASE为三个节点的集群。每秒约有3至6千条数据进行写入。在多应用同时向同一个表进行写入时，会报如下错误。其实就是行成了热块，无法有序进行写入。在HBASE集群中任意节点重新注册下表，进行数据重分布。在处理hbase之前，可先对应用进行重启。进入hbase命令行。执行：报错的表名是table_20220929。完成后退出hbase。
spark 的createDstream和createDirectStream区别
ChengYanan的博客
04-23 713
spark读取kafka数据流提供了两种方式createDstream和createDirectStream。 两者区别如下： 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是...
批量入库Kerbos认证的HBase，入库越来越慢直到程序卡死不动，后台一直告警，求解决！！！
Luminitai的博客
07-29 764
程序提交至spark运行，一开始运行正常随后越来越慢直到一直卡死，有时报错 java.io.IOException:CouldnotsetupIOStreamstohostname/ip:60020 但总是后台一直告警：告警如下 INFOAsyncProcess:#16,table=xxxxxxxxxx,attempt=20/35failed=24ops,lastexception:org.apache.hadoop.hbase.exceptions.Connectio...
【分布式数据库】HBase truncate的问题导致数据写入慢
康师傅没有眼泪
09-26 1353
HBase truncate的问题 情景： 使用hbase命令truncate 'tablename' 本来这张表进行了预分区，但是truncate之后表的预分区信息就没有了。 问题： 1.使用truncae如何与原表的预分区保持一致？ 要保留分区应该使用 truncate_preserve 'tablename'命令，如果直接使用truncate 'tablename'是不会保留分区的 ...
HBase Sync功能导致HBase入库性能下降
最新发布
天翼云开发者社区
06-26 92
根据regionserver中写入慢的block id在NameNode日志中查询块写入链路，根据链路信息分析写入三个副本时哪个副本写入有异常，DataNode性能不足，导致写入文件耗时较长。3.如果slow sync集中于个别regionserver节点，检查该节点是否存在热点region、节点RPC是否持续被占用、是否Full GC，请求量是否增加。4.如果regionserver节点中slow sync无规律，检查datanode日志中slow打印情况，根据slow类型分析写入慢原因；
提升HBase写性能
Sabrina & Joshua Java Ivory Tower
02-16 358
最后更新于: 2013/7/1 --------------------------------------------------------------------------------------------------------------- 本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工...
【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题
weixin_34235457的博客
04-10 120
2019独角兽企业重金招聘Python工程师标准>>> ...
Phoenix客户端连接Hbase遇到的分页问题小结
weixin_34306446的博客
01-03 333
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark写Hbase如何提高Bulkload的速度
龙大的博客
05-12 928
很多时候我们在写HFile的时候都会进行repartition使用的是repartitionAndSortWithinPartitions，其中Spark也提供几种repartition的实现如HashPartitioner、RangePartitioner，但当数据量大的时候就会出现性能问题，就会变慢。在load的时候，是会按照Hbase的分区，把数据放到对应分区里面，这里面就会有两个问题，1.如果一个HFile文件对应多分区数据，在load的时候就会进行文件拆分（具体看代码扩展Partitioner。
HBASE优化写入速度
u013059060的博客
08-05 640
HBASE优化写入速度 （1） hbase.regionserver.handler.count=100 （原始值30） （2） HTable htable = new HTable(config, tablename); htable.setWriteBufferSize(10 * 1024 * 1024); htable.setAutoFlush(false); 设置buffer的容量，例子中设置了10MB的buffer容量。 禁止auto flush。 （3） Put put = new Put(ro
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值