hbase.regionserver.global.memstore.upperLimit is deprecated by hbase.regionserver.global.memstore

最新推荐文章于 2023-06-27 18:38:25 发布
原创 最新推荐文章于 2023-06-27 18:38:25 发布 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了HBase在运行过程中频繁触发WARN信息的问题，特别是关于hbase.regionserver.global.memstore.upperLimit和hbase.regionserver.global.memstore.size参数的调整。通过深入分析配置原因，发现RegionServer的内存设置不当导致问题频发。最终，通过合理调整-Xmx和-Xms大小，解决了RegionServer内存溢出的问题。

程序运行过程中日志中存在WARN信息

hbase.regionserver.global.memstore.upperLimit is deprecated by hbase.regionserver.global.memstore.size

但是无论怎么设置这两个参数，hbase在进行读写过程中很容易就触碰到阀值，甚至regionservice直接死掉。

一直被WARN信息困扰，无论怎么调试都不行。没有触碰到问题的真正原因。

分析hbase配置原因。发现在设置hbase中配置文件为默认的大小。

CM:HbaseRegionServer的java配置选项：RegionServerDefaultGroup 中设置-Xmx大小合-Xms中的大小。解决问题

 

 

 

 

 

 

推荐优质博文：https://blog.youkuaiyun.com/mtj66/article/details/78840059

 

HBase参数调优
m0_47120517的博客
12-08 842
目录 HBase参数调优 hbase.regionserver.handler.count hbase.hregion.max.filesize hbase.hregion.majorcompaction hbase.hstore.compaction.min hbase.hstore.compaction.max hbase.hstore.blockingStoreFiles hbase.regionserver.global.memstore.size hbase.regionse
HBASE2生产实践&性能优化
weixin_39338423的博客
12-17 1062
Hbase2.x版本生产实践&性能优化
Hbase Memstore刷新方式与Region的数目上限
热门推荐
jast
09-17 6万+
目录 Region数目上限 Region大小上限 MemStore的刷新方式 HLog (WAL) Size & Memstore Flush 频繁的Memstore Flushes Region数目上限 RegionServer的region数目取决于memstore的内存使用，每个region拥有一组memstore（memstore的数量有hstore决定，hstore...
HBase源码分析之HRegionServer上MemStore的flush处理流程（一）
weixin_33701294的博客
02-29 203
在《HBase源码分析之HRegion上MemStore的flsuh流程（一）》、《HBase源码分析之HRegion上MemStore的flsuh流程（二）》等文中，我们介绍了HRegion上Memstore flush的主体流程和主要细节。但是，HRegion只是HBase表中按照行的方向对一片连续的数据区域的抽象，它并不能对外提...
hbase regionserver挂掉报错has too many store files delaying flush up to 90000ms
ASN_forever的博客
05-25 1647
今天在使用datax同步数据到hbase的时候，随着同步的数据越来越多，发现同步的速度越来越慢，且慢慢的出现同步数据为0的情况，以及regionserver间歇性挂掉，最后完全挂掉了。 首先说一下，使用的hbase是单节点的，自己用来测试的。没有做过多的配置。 hbase的表只设置了一个列族，列数不到30列。机器内存16G。 当数据写到500万之后，开始变慢。最后写到800万regionserver崩溃。 2020-05-25 10:31:53,453 INFO [RpcServer.defau
HBase源代码分析之HRegionServer上MemStore的flush处理流程（一）
weixin_33734785的博客
08-09 155
        在《HBase源代码分析之HRegion上MemStore的flsuh流程（一）》、《HBase源代码分析之HRegion上MemStore的flsuh流程（二）》等文中。我们介绍了HRegion上Memstore flush的主体流程和主要细节。可是，HRegion仅仅是HBase表中依照行的方向对一片连续的数据区域的抽象，它并不能对外提供单独的服务，供client或...
深入理解HBase Memstore
大数据技术派
06-04 540
关注我，回复"资料"，获取大数据资料MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优...
Hbase配置说明
Vicky_Tang
07-01 2万+
hbase.rootdir 这个目录是region server的共享目录，用来持久化HBase。URL需要是’完全正确’的，还要包含文件系统的scheme。例如，要表示hdfs中的’/hbase’目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。 默认: file:///tmp/hbase-${user.n
大数据技术----HBase配置文件说明
weixin_45228198的博客
07-24 2746
以下是hbase-site.xml文件的相关配置项： 1 ，hbase.rootdir 这个目录是 region server 的共享目录，用来持久化 HBase。URL 需要是’完全正确’的，还要包含文件系统的 scheme。例如，要表示 hdfs 中的 ‘/hbase’ 目录，namenode 运行在namenode.example.org 的 9090 端口。则需要设置 为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置，
2020.12.17课堂笔记(HBase分布式环境搭建)
超可爱慕之
12-17 565
HBase分布式环境搭建 一、HBase分布式环境安装 1.1 Zookeeper正常部署启动 首先保证Zookeeper集群的正常部署，并启动： [root@hadoop102 zookeeper]$ $ZK_HOME/bin/zkServer.sh start [root@hadoop103 zookeeper]$ $ZK_HOME/bin/zkServer.sh start [root@hadoop104 zookeeper]$ $ZK_HOME/bin/zkServer.sh start 1.2
HBase Memstore flush代码阅读笔记-1 -由 lowerlimit 和 upperlimit 触发的 flush
青而不涩
01-22 389
在写请求（put，delete）到达服务端时，服务端（HRegionServer）会将请求按 Region 聚合，并交给具体的 Region 实例进行处理。Region 收到请求后，会剥离 append 请求和 increase 请求单独处理，然后将 put 和 delete 揉一起按批处理。处理之前，会检查整个memstore 的大小。 [code="java"] protected voi...
一次bug死磕经历之Hbase堆内存小导致regionserver频繁挂掉
三劫散仙
01-06 3044
环境如下： Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase的压缩，Hadoop安装了lzo和snappy，插入50条文本数据，每条数据大约4M，来看他们的压缩率对比， 然后在测的过程中，发现用
HBase性能优化
Widsom的博客
06-08 573
HBase性能优化 zookeeper.session.timeout RegionServer与Zookeeper间的连接超时时间。默认3分钟。 当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管. 调优 这个timeout...
【分布式数据库】HBase性能调优（二）
康师傅没有眼泪
06-27 3471
NameNode的元数据备份使用SSD、定时备份 NameNode 上的元数据，每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。2、为NameNode指定多个元数据目录，使用dfs.name.dir或者dfs.namenode.name.dir指定。一个指定本地磁盘，一个指定网络磁盘。这样可以提供元数据的冗余和健壮性，以免发生故障。
HBase性能调优
豹先生
08-25 1792
配置优化zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后
hbase调优详解（1）服务器参数调优
Tableau1的博客
08-01 1442
一、服务器参数调优 1、hbase.regionserver.handler.count：增加服务器的处理线程数 hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10。这样设置的目的是防止服务器在某些情况吓出现内存耗尽的情况。 如果服务器上的可用内存较少，就应该将该属性设置为较低的值。如果每个请求只需要一点点的内存，但是每秒TPS却很高，...
Hbase调优
阳阳阳的博客
06-07 358
Ps：这里列举一些常见的Hbase调优，并不全面，如果想要全面的了解hbase调优，可以参考Hbase的官方文档，或者参考这篇总结自官方的博客。 本文将从三个方面来对Hbase的调优进行总结：参数调优、表的设计、读取优化、写入优化。 目录 目录 一、参数调优 1.zk超期参数 2.RegionServer的请求处理IO线程数 3.ReigonServer上单个Reigon的最大存储空...
HBase性能调优(讲解透彻)
xiaolang85的专栏
08-09 890
HBase性能调优  我们经常看到一些文章吹嘘某产品如何如何快，如何如何强，而自己测试时却不如描述的一些数据。其实原因可能在于你还不是真正理解其内部结构，对于其性能调优方法不够了解。本文转自TaoBao的Ken Wu同学的博客，是目前看到比较完整的HBase调优文章。  原文链接：HBase性能调优  因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到
hbase.regionserver.hfilecleaner.large.thread.count
07-13
hbase.regionserver.hfilecleaner.large.thread.count是HBase中的一个配置参数，用于指定大文件清理器（LargeFileCleaner）线程的数量。在HBase中，大文件清理器是一种后台线程，用于清理存储在HBase区域服务器（RegionServer）上的大文件。 默认情况下，hbase.regionserver.hfilecleaner.large.thread.count的值为1。这意味着HBase会启动1个大文件清理器线程来执行文件清理任务。通过增加线程数量，可以提高大文件清理的效率，但也会增加系统资源的消耗。 大文件清理器的主要任务是检查HBase存储目录中的文件，并删除那些不再需要的大文件。这些大文件可能是由于数据删除、合并或其他操作而产生的。通过定期清理这些大文件，可以释放磁盘空间，并提高HBase的性能。 需要注意的是，修改hbase.regionserver.hfilecleaner.large.thread.count参数后，需要重启HBase服务才能使其生效。此外，该参数的最佳值取决于系统的负载和硬件配置，可以根据实际情况进行调整。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值