hbck源码系列(一)--hbck基本介绍

最新推荐文章于 2022-10-12 11:21:59 发布
原创 最新推荐文章于 2022-10-12 11:21:59 发布 · 1.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #hbck #hbase源码

本文聚焦于HBase的hbck工具，介绍了其在CDH5.13.3和hbase1.2版本中的应用。HBCK的主要功能包括一致性与完整性检查，用于修复HBase集群的异常状态。一致性修复风险较低，而完整性修复涉及更复杂的问题，如hole、overlap和orphan。文章列举了hbck的不同命令，并根据风险将其分为高低两类，为运维人员提供指导。此外，还预告了后续将深入分析HBCK的源码，特别是onlineHbck部分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要针对CDH5.13.3对应hbase1.2版本来分析hbck，帮助大家在运维中正确使用该修复工具

一.hbck基本介绍

Hbck主要有两个作用：检查异常和修复异常

 

注意：该图参考范欣欣的一个ppt图 .

一致性修复

一致性检查主要检查是检查Region在meta中的Region、在线Regionserver的Region和hdfs的Regioninfo的Region信息是否一致。属于低风险修复。

完整性修复

      完整性主要是检查table的完整性，包括hole

最低0.47元/天 解锁文章

200万优质内容无限畅学
hbck源码系列(五)--Orphan源码分析
峰的记忆
06-04 473
一.Orphan 原理 1.1 什么是Orphan Orprphaned regions are regions without a .regioninfo file regions are regions without a .regioninfo file Orphan 是指region对应的Regioninfo文件在hdfs文件丢缺失。 1....
hbck源码系列(三)--表的完整性检查和修复< LoadData>
峰的记忆
05-30 381
一.数据加载方法 检查表的完整性是离线的，也就是检查表在HDFS的完整性，所以，首先hbck会从HDFS加载数据，源码的主要方法： loadHdfsRegionDirs：加载HDFS的区域的目录，封装到HBCKinfo的HdfsEntry部分属性。 loadHdfsRegionInfos：加载和打开HDFS的regioninfo文件，获取regioninfo信息，更新hbckin...
hbck源码系列(四)--表的完整性检查和修复
mnasd的博客
09-22 694
一，完整性检查 1检查表在HDFS的完整性 二.checkRegionChain方法 完整性检查，主要检查工作在checkRegionChain方法，该方法主要两个作用： 1.根据检查条件，检查异常 2.根据检查条件，修复异常 检查条件和异常都指什么？ 2.1异常 @Override public void handleR...
hbck
weixin_42642341的博客
05-13 1046
Apache HBase HBCK2 Tool HBCK2是hbase-1.x修复工具（ 也称作hbck1）的继承者。 使用它代替hbck1进行hbase-2.x安装修复。 hbck1 不应该对hbase-2.x群集运行hbase-1.x附带的hbck工具（ hbck1）。 它可能会造成损坏。 虽然hbck1仍然捆绑在hbase-2.x--中以最大限度地减少意外（它在其输出的帮助有一个指向H...
hbase hbck
数据之美的博客
11-19 5486
hbase hbck是hbase自带的一项肥肠实用的工具，很多hbase中出现的问题都可以尝试用hbase hbck修复。 新版本的hbck从 hdfs目录、META、RegionServer这三处获得region的Table和Region的相关信息，根据这些信息判断并尝试进行repair。 新版本的 hbck 可以修复各种错误，修复选项是：（请注意选项后面是否需要加具体表名） （1）-...
hbase-hbck2-1.2.0-SNAPSHOT.jar
01-17
HBCK2已经被剥离出HBase成为了一个单独的项目，如果你想要使用这个工具，需要根据自己HBase的版本，编译源码。其GitHub地址为：https://github.com/apache/hbase-operator-tools.git 附件资源是已经编译好的hbase...
hbck源码系列(六)--Orphan的异常定位和修复
峰的记忆
06-24 1276
一. Orphan修复风险 我们了解了hbck对orphan修复原理后，知道orphan是根据hdfs的Hfile修复的regioninfo文件(如果没有Hfile，则直接将该region进行sideline)，再删除该region. HBCK这种修复存在的风险，是由于region变迁导致： (1)如果region的数据hfile数据为空,但是内存存在数据,突...
hbck源码系列(四)--表的完整性检查和修复<Check>
峰的记忆
05-30 953
一，完整性检查 1检查表在HDFS的完整性 二.checkRegionChain方法 完整性检查，主要检查工作在checkRegionChain方法，该方法主要两个作用： 1.根据检查条件，检查异常 2.根据检查条件，修复异常 检查条件和异常都指什么？ 2.1 异常 @Override public void ha...
Hbase表级别元数据一致性和hbck原理
bluekeyv的专栏
03-10 4863
最近重新回到熟悉的hbase领域，感慨还是很多。首先终于又可以沉下心来好好搞技术了，其次看到现在有冲劲有追求的年轻人就像看到原来的自己。大数据需要一代一代人传承下去。 最近我们上了region group的patch，将原来在2.0里面才合并的patch 加到了0.98版本中。初始使用的时候挺好，但是也遇到了一点问题——在做表group之间迁移的时候发现master页面上的元数据信息有误。而实际
HBase可用于管理、分析、修复和调试的自带工具hbck，hfile和数据备份与恢复介绍
helloxiaozhe的博客
08-13 2779
HBase自带的很多工具可用于管理、分析、修复和调试，这些工具一部分的入口是hbase shell 客户端，另一部分是在hbase的Jar包中。 目录： hbck hfile 数据备份与恢复 Snapshots Replication Export CopyTable HTable API Offline backup of HDFS data hbck: h...
HBase hbck 命令详解
yjq_java的专栏
02-16 9500
hbck是hbase里用来检测 region一致性,表完整性问题及修复损坏的命令行工具。它有2种工作模式： 只读不一致性识别模式(默认模式,但不尝试修复) 多阶段读写修复模式 (如果发现错误，则尝试修复) 注：如果只检查特定的表 则用: hbck .. 常用选项： 1. -details 顾名词义，打印详细结果 2. -fix 用来修复region级别的不一致性。其内部的操作
HBCK2 详解
chun的博客
10-12 1838
HBCK2
hbase hbck使用介绍
weixin_43697701的博客
12-22 4643
hbase hbck 1、简介 hbck工具可以检测hbase集群的region一致性和完整性，同时可以修复损坏的集群数据 工作模式两种：一致性检测只读模式，和多阶段修复模式 2、集群的一致性状态 1）region一致性 集群中所有region都被assign，且region在Master内存、ZK和hbase：meta表三个地方一致 2）表完整性 集群中的任意一张表，每个rowkey都仅能存在于一个region区间中 3、集群一致性状态检测 1）命令 hbase hbck 一般集群规模较大尽量不要直接执行
Hbck 修复问题
南风知我意
07-12 823
进行修复时，请先确保 hbase:meta 一致，然后再着手修复任何其他问题类型，例如文件系统偏差。 文件系统中的偏差或分配问题应在 hbase:meta 整理后解决。 如果 hbase:meta 出现问题，Master 在采用孤立文件系统数据或进行区域分配时无法进行正确的放置。要记住的其他一般原则包括如果区域处于 CLOSING 状态（或相反，如果处于 OPENING 状态，则未分配），如果没有首先通过 CLOSED 进行转换，则无法分配区域：区域必须始终从 CLOSED 移动到 OPENING，再到 O
hbase hbck流程
12-21 574
  HBaseFsck类的hbase hbck流程；hbck是一个很重的管理工具，他会访问所有rs，扫描整个meta表，以及读取所有table region里的regioninfo，所以不要频繁使用hbck，会给hbase带来压力   /** * This repair method requires the cluster to be online since it conta...
Hbase Architecture[上]
yjq_java的专栏
07-20 564
Hbase Architecture概述： 序言 seek VS Transfer 2.1 B+树 2.2 Log-Structured Merge-Trees storage 3.1 概览 3.2 Write Path 3.3 Files 3.3.1 Root Level Files 3.3.2 Table Level Fil
HBase hbck 命令
数据源的港湾
06-05 3196
HBase提供一个hbck工具，其功能由HBaseFsck类来实现，主要用来做一致性检查和完整性检查。可以通过以下命令来查看hbck的参数，[root@openstack-2 ~]# hbase hbck -h Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely
使用hbase hbck修复region中数据不一致问题
热门推荐
宝罗Paul 的博客
12-28 1万+
[hbase版本1.1.2] [hbase@kmr-5b9c18fc-gn-7198aa8e-client-1-001 ~]$ ll -t total 788 -rw-r--r--. 1 hbase hadoop  60614 Dec 27 18:22 20171227_8th_After_fixAssgnmentOf_should_end_with_an_empty_key_FORte
hbase hbck -details
最新发布
05-24
HBase 提供了一个名为 `hbck` 的工具，用于检查和修复 HBase 表及其底层存储的一致性和健康状态。此工具可以帮助管理员诊断并解决一些常见的集群问题，例如表损坏、区域分配错误以及元数据不一致等问题。 #### 基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值