HBase 修复region

最新推荐文章于 2025-02-24 10:24:23 发布
原创 最新推荐文章于 2025-02-24 10:24:23 发布 · 335 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文记录了一次线上问题排查过程，针对HBase中60020端口响应超时的问题，通过使用hbasehbck工具发现并修复了存在hole的region。修复后，受影响的聚类运算和数据接入任务恢复正常。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

定位线上问题发现HBase 60020端口响应总是超时。但线上服务器发现该region-server均正常。

 

通过 hbase hbck  发现该表虽然region 都在线，但是有几个region 有 hole。通过bin/hbase hbck -fix 定位修复。

 

 

在修复region后先关的聚类运算和关联的数据接入等任务都进行了重启和确认。 最终建模结果正常。

 

 

其他命令可以参见：http://my.oschina.net/beiyou/blog/76456

iteye_2655
关注
HBase Region 部分数据丢失的原因和解决方法
ByteWhisper的博客
09-20 649
HBase 是一个分布式的开源 NoSQL 数据库，它基于 Hadoop 构建，并且提供了高可靠性、高性能和可伸缩性的数据存储解决方案。如果负载不平衡，即某些 Region 上的数据量过大，而其他 Region 上的数据量很小，那么可能会导致部分 Region 数据丢失。2.1. 备份和恢复：为了防止数据丢失，建议定期备份 HBase 的数据。1.1. 服务器故障：当 HBase 集群中的某个服务器发生故障，例如硬件故障、断电或网络问题时，可能会导致部分 Region 数据丢失。
Hbase region空洞修复工具
Terry Zhang Data Solution
10-12 4013
众所周知,Hbase 中随着某个table 数量的增多必然会分裂成多个region,这些region 中的start-key 和 end-key 首位相连组成一个闭环.如下图所示 在表健康的时候可以用hbck工具来扫描整个表.结果当然是健康的状态 hbase hbck
Hbase Region下线故障修复
fczheng的博客
08-16 2008
当发现HBASE的某张表无法正常访问，或scan时： 发现故障后，检查hbase（以student表为例）： [hadoop@hadoop112 ~]$ hbase hbck -details student 结果重要部分如下： Summary: Table student is okay. Number of regions: 0 Deployed on: Tabl...
hbase2.x orphan regions on filesystem（region丢失）问题修复
DraGon_HooRay的博客
01-06 1780
hbase2.x orphan regions on filesystem 在region上线后很容易产生region重叠（region overlap）问题，也就是region范围发生了交叉。使用assigns操作将检查出来未上线的region上线，一次可以上线多个region，用空格隔开，如果返回不是[-1]，说明上线成功。第一种方法如果失败，可以尝试这个方法，他会将指定region目录下的所有数据导入到指定的表中。1、使用hbck2修复工具指定region上线。
Region恢复逻辑
JavaMan_chen的专栏
07-31 3344
Table of Contents Region恢复逻辑 配置参数 Region恢复逻辑 RegionServer出现宕机以后，其上部署的Region将会被Master重新分配处理，由于在宕机前，某些Region的memStore数据可能还没有做flush操作，因此，需要对这部分数据做还原处理，还原过程通过读取HLog文件来实现。 截至到目前为止(1.
Hbase Region still in transition修复
bird的博客
02-19 4106
问题背景 hbase内出现部分region挂空的现象。在界面上发现某个表的regionserver无法点击进入 鼠标移至该rs上的链接本应端口号为60030，但却指向为60010。 此时所有对该region的访问都将失败。 原因分析 该情况意味着该region正处于transition状态，但在transition时的目标rs却因为以外重启或失效，这些region即出现了该不
hbase修复元数据
bigdata_player
04-11 1441
新版本的 hbck 可以修复各种错误，修复选项是： （1）-fix，向下兼容用，被-fixAssignments替代 （2）-fixAssignments，用于修复region assignments错误 （3）-fixMeta，用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。 （4）-fixHdfsHoles，修复region holes（空洞，某个区...
hbase线上region不一致问题相关数据修复
weixin_42106137的博客
02-24 969
再次hbck检查，发现region被assign到了两个regionserver上，到hbase控制台的s02和s01两个regionserver上检查该region，在s01上存在该region而在s02上没有。在hbase控制台检查该表是否有这些报出的region，反馈控制台找不到这些region，且对应表的所有region的rowkey都是连续的。执行hbck检查集群恢复正常。如果此表在hbase中已经不存在了，只在hdfs上有对应目录且没有数据，已经是垃圾文件，可以删除或mv到hdfs的其他目录。
机房断电导致HBase集群region offline故障解决
weixin_42340179的博客
12-03 3390
环境描述：ambari集群+hdfs+zookeeper+hbase 错误描述：hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockes Block Errors 31  corrupt replica / 30  missing / 31 under replicated hbase存在大量的o...
hbase-meta-repair-hbase-2.0.2.jar
12-16
HBase 元数据修复工具包。 ①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项，hdfs 最好写 ip； ②将core-site.xml、hdfs-site.xml添加到BOOT-INF/...
hbase异常修复经验总结
apply_bomb的博客
06-19 4139
重hbase异常修复经验总结，如启集群时，如果报错hbase:meta表不在服务器上。。master节点启动失败，切分wal日志失败。。hbase的RIT问题..arrayIndexOutofBoundSexcExecptiom....regin不在线,,,,, is not online on...表处于中间状态等等...
第二次尝试修复Hbase2出现Region不一致，使用 HBCK2 - 2021.11.15
chun的博客
11-15 4663
spark任务中入hbase任务全部失败了，查看日志发现hbase出现问题 报错日志： 在hbase的log中看到报错 Call queue is full on xxxx,16000,1611197476326, too many items queued 修改了配置文件，增加了队列数量 参数说明：https://hijiazz.gitee.io/hbase-callqueue-isfull/ 并且zookeeper好像挂掉了，后来重启zk。 然后重启hbase后出现了region不一致的情况。 尝试
使用hbase hbck修复region中数据不一致问题
热门推荐
宝罗Paul 的博客
12-28 1万+
[hbase版本1.1.2] [hbase@kmr-5b9c18fc-gn-7198aa8e-client-1-001 ~]$ ll -t total 788 -rw-r--r--. 1 hbase hadoop  60614 Dec 27 18:22 20171227_8th_After_fixAssgnmentOf_should_end_with_an_empty_key_FORte
HBase region is not online 问题修复
我想静静
04-06 1万+
一年多没有搞HBase了，回想前年和营神一起的日子，～～～。今天同事遇到下面一个问题：hbase(main):002:0> get 'mynamespace:user_basic_info','BAC3510A922CF026500874EA3975E123' COLUMN CELL ERROR: org.apache.hadoop.hbase.NotServingRegionException:
第一次尝试修复Hbase2出现Region不一致，HBCK2
chun的博客
11-15 2471
出现问题的原因 Hadoop中报错，集群中某节点的一块磁盘损坏了，运维修复后，hbase出现了region不一致的情况。 修复 1.首先查看web ui中被lock的region，对其进行bypass -or pid 再bypass -o id 2. 查看home界面拿到regionId，对其重新分配assigns -o 3. 最后还是会剩余一些region无法修复，因为原因是磁盘损坏了，所有查看HDFS文件是否坏块hdfs fsck -list-corruptfileblocks，发现有大量的损坏，过滤一
hbase hbck及region RIT处理
breakout_alex的博客
05-18 1108
hbase hbck主要用来检查hbase集群region的状态以及对有问题的region进行修复。 hbase hbck ：检查hbase所有表的一致性，如果正常，就会Print OK hbase hbck -details：检查hbase所有表的一致性，并且输出详细报告。 hbase hbck table1 table2：指定检查某些表，可以输入多个表，用空格隔开。 HBCK - HBCK检查什么？ (1)HBase Region一致性 集群中所有region都被assign，而..
Hbase服务故障恢复后快速解决region负载不均衡的问题
jingyi1219的博客
04-12 2408
此解决方案的适用场景： hbase故障前region平均的分布在所有的regionserver上面，故障发生后，HbaseMaster挂掉，部分或全部regionserver挂掉，当hbase个组件都恢复后，会发现大量的region是在少数regionserver上，如果你集群开启了region自动均衡，需要等待特别长的时间，特别是hbase集群规模很大时，比如我们一个项目的hbase集群有200个regionserver，region数目达到了10W+，如果要等hbase自己让region负载均衡，需要
【免费下载】 Minecraft Region Fixer - 修复你的Minecraft区域文件
gitblog_00013的博客
03-15 1812
Minecraft Region Fixer - 修复你的Minecraft区域文件 Minecraft Region Fixer 是一个Java程序，它可以扫描并修复损坏的Minecraft区域文件（.mca）。如果你在玩Minecraft时遇到了区块加载失败或者游戏崩溃的问题，那么这个项目可能会对你有所帮助。 什么是Minecraft区域文件？ 在游戏中，Minecraft会将地图划分为许多小...
hbase reopen region
最新发布
07-26
我们正在讨论HBase中的region重新打开操作。根据引用内容，没有直接提到"reopen region"命令，但我们可以从HBase的管理操作中推断相关操作。 在HBase中，region的重新打开可能涉及以下几种情况： 1. 强制重新打开...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值