HBase——查询延迟的时间分布

最新推荐文章于 2024-03-19 13:21:21 发布
最新推荐文章于 2024-03-19 13:21:21 发布
阅读量4.1k 收藏 2
点赞数
分类专栏： NoSQL hbase 文章标签： it hbase 存储 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huyangshu87/article/details/51071906
版权
本文探讨了HBase查询延迟的四个关键因素：Zookeeper检查时间、WAL Split时间、Region重新分布时间和WAL Replay时间，并详细介绍了各阶段的影响要素及相关配置。实验数据显示，宕机Region的数据迁移占据了总延迟的大部分。测试中，kill掉RegionServer后，扫描1000行数据的延迟时间显著增加。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

查询时间

对于HBase的查询而言，大体时间分为

  • zookeeper检查时间
  • WAL Split时间
  • Region重新分布时间
  • WAL Replay时间

zookeeper检查时间

 影响要素：

       zookeeper跟regionserver之间session的timeout时间

 关联设置：

     1. zookeeper.session.timeout     默认值：90000ms

     2. hbase.zookeeper.property.tickTime    默认值：2000ms

备考：

    范围：tickTime ×2～tickTime ×20

     1 timeout＜tickTime ×2的场合 &#x

最低0.47元/天 解锁文章
hbase配置文档
lichwq1的专栏
08-14 345
首先拿到三台机器 已经配置好了hadoop 在namenode机器上安装hbase的master 在namenode机器上: yum install ~ hbase-master 修改配置文件 hbase-site.xml      hbase.rootdir    hdfs://namenode的ip或者主机名/hbase    The direc
hbase占用内存过高_HBase——系统调优
weixin_39846089的博客
12-20 681
JVM层HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对此进程做适量放大heap 的操作，但不可太大。RegionServer在写入数据时，数据会先保存在mem...
hbase请求耗时排查
wflh323的专栏
03-03 662
查看hbase监控读请求量几十万，而在hbase master ui上请求量只有几千，分配也不均衡大部分分布在hbase:meta所在服务器上，查看应用请求错误日志，发现错误堆栈是在做scan，抛出异常代码为判断表是否存在tableExists。hbase查询数据是先要查询hbase:meta表的获取数据所在regionserver 和region信息，一般hbase client创建连接几个请求下来hbase:meta都会缓存到本地不会频繁的去scan hbase:meta。
Hbase配置项粗解
weixin_30908941的博客
04-22 492
继之前写的设计和使用tip，这里补充一下hbase所有的配置项。之前涉及的一个项目在hbase设计上存在缺陷，当进入时已经存在着很多rowkey设计和读写问题，现在重读hbase文档，把所有的配置项整理一遍。 hbase.tmp.dir：本地文件系统的临时目录，默认是${java.io.tmpdir}/hbase-${user.name}； hbase.rootdir：hbase持久化的目录，...
Hadoop集群之 ZooKeeper和Hbase环境搭建
weixin_34205826的博客
05-28 223
1.ZooKeeper和Hbase的简答介绍：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给...
hbase 查询设置超时_hbase master挂掉-zookeeper连接超时原因
weixin_39779537的博客
12-19 509
并行运行hbase删表，建表操作，多个表多个region，导致hbase挂掉。查看日志：从日志中可以看出GC时间过长导致zookeeper连接超时，master退出。(是master退出而不是regionserver退出是因为进行的操作是建表，删表，是由master来进行操作的)。原因：hbase中和GC相关的参数：修改前(默认)：export HBASE_OPTS="$HBASE_OPTS -e...
大数据面试题 —— HBase
最新发布
hu_wei123的博客
03-19 1319
HBase 是一种分布式可扩展支持海量数据存储的NoSQL数据库，支持对大数据进行随机、实时的读/写访问。
HBase最佳实践－读性能优化策略-3——HBase服务器端优化.pdf
07-11
通过持续监控、调整配置和优化数据分布，可以显著提高HBase集群的读性能，减少延迟，并保证系统的稳定运行。在实际应用中，还应注意定期评估优化效果，以便及时调整策略，适应不断变化的业务需求。
HBase大数据查询实践：优化读写性能
"大数据查询——HBase读写设计与实践" 在大数据处理领域，随着数据量的不断增长，传统的数据库系统往往难以应对高并发的写入和读取需求。本项目针对这一挑战，从Oracle数据库迁移至HBase，以解决check和opinion两张...
idea中java操作hbase报Can‘t get connection to ZooKeeper: KeeperErrorCode = OperationTimeout错误
m0_63891307的博客
05-30 860
进行运行20分钟后出现不能连接zookeeper,操作超时错误 在本地电脑此路径的hosts文件中加上集群节点的映射 而保存的话可能一些win10系统反映说要修改C盘文件的时候，发现不能保存，并提示你没有权限在此位置中保存文件.可以参考以下链接进行操作 http://www.xitongcheng.com/jiaocheng/win10_article_52909.html 而操作下来自己的电脑也没有gpedit.msc,只有gpedit.dll 可以参考以下链..
ZooKeeper的安装与部署
热门推荐
Leo的博客
06-28 12万+
本文讲述如何安装和部署ZooKeeper。一、系统要求ZooKeeper可以运行在多种系统平台上面，表1展示了zk支持的系统平台，包括是否支持开发环境或者生产环境。表1：ZooKeeper支持的运行平台 系统 开发环境 生产环境 Linux 支持 支持 Solaris 支持 支持 FreeBSD 支持 支持 Windows 支持 不支持
HBase参数配置及说明
weixin_30951389的博客
05-10 579
版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name>...
大数据实验四——HBase
weixin_43431148的博客
05-26 813
实验步骤： 安装Base ①解压缩、重命名 执行命令：tar -xvf hbase-1.2.6-bin.tar.gz mv hbase-1.2.6 /opt/hbase mv hbase1.2 /opt/hbase ②环境配置 编辑 /etc/profile 文件 输入: 输入source /etc/pr...
hbase安装与配置详解_企业十大应用-Hbase-配置详解
weixin_39564617的博客
12-01 208
版本：0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置 hbase.tmp.dir /mnt/dfs/11/hbase/hbase-tmp默认值：${java.io.tmpdir}/hbase-${user.name}写到系统的/tmp...
sqoop导入大量数据到hbase出现hregionServer坠机问题解决
Malik的博客
01-25 539
sqoop导入大量数据到hbase出现hregionServer坠机问题解决 版本信息： zookeeper-3.4.10 hbase-1.2.6 hadoop-2.7.3 java 1.8 当用sqoop把mysql数据导出hbase是发现导入失败，查看进程发现hregionServer挂了，查看hbase-zkpk-regionserver-slave.log、hbase-zkpk-mast...
HBase性能调优
豹先生
08-25 1744
配置优化zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后
HBase--基础--01--单机安装
zhou920786312的博客
11-19 1355
【代码】HBase--基础--01--单机安装。
Hbase写操作偶尔有延迟
qingchen191的专栏
12-13 1038
调查解决了一个Hbase写入偶尔有延迟的问题
Hbase超时机制
La victoria的博客
11-05 1065
配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.调优：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值