HBase2.0的修复工具打包

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 274平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄16年

关注

原创 2023-05-23 11:37:02 274 阅读 AI 写同款· GEO 优化 ›

HBase 2.0.0 META 数据修复工具 必须先吐槽一下 Cloudera 6.x 和 Hbase 2.0 太坑了！不久前生产上的一套Hbase集群出现著名的RIT（Regions in Transition）问题。查看hbase web ui 于是通过hbck命令查看一下集群状态，果然好多inconsistency ... ERROR: Region { meta => XXX,XXX:,157301923100... 阅读详情

1、下载项目包

GitHub - apache/hbase-operator-tools: Apache HBase Operator Tools

2、解压到本地的目录，用idea打开，修改为自己的hbase版本，并删除pom.xml的scope的 provide

有scope的 provide都去掉

3、点击打开Terminal界面，切换到hbase-hbck2下，执行命令打包

mvn clean install -DskipTests

不用mvn clean package，会报错如下界面，导致打包失败

参考：HBase2.0的修复工具HBCK2_hbase hbck2 编译_大猿小猿向前冲的博客-优快云博客

收录于

当前文章被以下社区和专栏收录：

标签

#hbase #java #数据库

HBase数据迁移方案 HBase2.1.0数据迁移方案文章目录HBase2.1.0数据迁移方案步骤一、迁移HFile数据步骤二、迁移表的region步骤三、bulkload数据业务要求：将数据从旧的集群HBase1.2迁移到HBase2.1.0中去。每个表的数据量级10TB左右值得注意：HBase升级到Hbase2.x之后，他的数据修复工具独立出来作为 HBCK2 成立了一个单独的项目，并且这个项目并不是所有的...... 阅读详情

相关推荐

Hbase region空洞修复工具

众所周知,Hbase 中随着某个table 数量的增多必然会分裂成多个region,这些region 中的start-key 和 end-key 首位相连组成一个闭环.如下图所示在表健康的时候可以用hbck工具来扫描整个表.结果当然是健康的状态 hbase hbck

Terry Zhang Data Solution 4109

HBase 2.0之修复工具HBCK2，修复数据

1.起因此次修复数据情况是:服务器中毒导致HBASE异常关闭，启动各种错误，实在没搞懂就清理了ZK关于HBASE的目录（rmr /hbase 建议先看原因，实在不行在做这个删除ZK操作，不对任何人负责，只是记录我修复的过程，仅供参考），本人的HBASE版本是2.0.5。 2.查找资料关于如何修复ZK相关数据，查找到了相关文章（HBase指南 | HBase 2.0之修复工具HBCK2运维指南 https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?s

wenzhixiang1192的博客 2092

hbase-operator-tools：Apache HBase操作员工具

hbase-operator-tools 操作员工具的主机，包括：，hbase-2.x修复工具，是hbase-1的hbck （AKA hbck1 ）的后继者。，一种用于生成有关Table列数和行大小的基本报告的工具；在没有可用的分布式执行时使用。

Hbase2.0版本 Region处于RIT状态

weixin_47099283的博客 1250

hbase-meta-repair-hbase-2.0.2.jar

HBase 元数据修复工具包。 ①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项，hdfs 最好写 ip； ②将core-site.xml、hdfs-site.xml添加到BOOT-INF/classes 下； ③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`

hbase hbck2修复工具hbase-operator-tools-1.0.0.1.0.0.0-618-bin.tar.gz

hbase hbck2修复工具hbase-operator-tools-1.0.0.1.0.0.0-618-bin.tar.gz，hbase1版本的hbck已经不支持修复命令，hbase2.1版本需要用这个新版的工具

Hbase Hbck2修复工具介绍和实践

Hbase Hbck2修复工具介绍和实践,我们在Hbase 的使用过程中，我们可能遇到过因为：机房断电、机房断网、ZK或者HBase的GC时间过长等原因引发的一系列HBase不可用的问题，这些问题通常需要通过hbase-operator-tool（HBase集群修复工具）中的工具来解决

weixin_65782325的博客 4580

【ANSYS Workbench仿真】命令流：压力渗透pressure penetration

对与流体接触的part添加边界压力，使流体压力渗透点的接触应力与流体压力相等，以便得到真实的变形结果，就需要用到“pressure penetration”。但是在ansys中，只能通过ADPL的形式添加，即在workbench中添加命令流的形式。此文主要介绍了**压力渗透的添加要点**和**命令流使用说明**。

路边小M's Blog 1万+

HBase集群修复工具HBCK2

HBCK2目前是一个简单的工具，一次只做一件事。在hbase-2.x中，Master是所有状态的最终决定者，所以大多数HBCK2命令原则是要求Master实现对hbase进行修复。这意味着在你运行HBCK2命令之前，Master必须已经启动。HBCK2的实现方法是利用Master的HbckService服务，该服务发布了一些方法供HBCK2工具使用。因此，HBCK2依赖Master的HbckService服务，HBCK2做的第一件事是探查集群以确保服务是可用的。...

z1987865446的博客 3022

Windows 必看！OpenClaw 一键安装教程｜告别报错，一次成功不踩坑

OpenClaw 完整安装与配置的全流程教程

m0_70389289的博客 1085

LDA模型参数优化实战：从auto设置到passes调优

本文深入探讨了LDA主题模型的参数优化实战，重点解析了如何通过设置alpha='auto'与eta='auto'让模型自适应语料，并详细阐述了passes参数对训练效果的核心影响。文章提供了系统的调优方法与评估策略，旨在帮助用户从“能用”到“用好”LDA，产出清晰、可解释的主题分析结果。

weixin_29163797的博客 118

HBase 2.0 之修复工具 HBCK2 运维指南

HBase 2.0 之修复工具 HBCK2 运维指南转载自：https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?spm=a2c4e.11153940.blogcont683107.11.49d762a815MegW 概述目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对...

jast 1万+

从手机到自动驾驶：MIPI-CSI2协议演进史与车规级改造要点

本文追溯了MIPI-CSI2协议从智能手机摄像头到自动驾驶核心传感器的演进历程。重点剖析了该协议在车规级改造中面临的严苛挑战，包括物理层稳定性、EMC防护、功能安全与数据可靠性等关键要点，并探讨了其在多传感器融合与高带宽实时传输中的工程实践。

weixin_28318011的博客 308

HBase2.0的修复工具HBCK2

1. 背景在了解HBCK2之前，建议先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不适用，且它的写功能（-fix）已删除，它虽然还可以报告HBase2.x集群的状态，但是由于它不了解HBase2.x集群内部的工作原理，因此其评估将不准确。因此，如果你正在使用HBase2.x，那么对HBCK2应该需要了解一些，即使你不经常用到。 2. 获取HBCK2 HBCK2已经被剥离出HBase成为了一个单独的项目，如果你想要使用这个工具，需要根据自己HBase的版本，

wolf_333的博客 2156

開機自動進入UEFI Interactive Shell無法正常開機怎麼辦?

BIOS/UEFI,啟動後進入UEFI Interactive Shell大多數人都告訴你沒有安裝系統去裝系統吧,但你明明昨天還在運行系統?今天就這樣?有沒有解決辦法?

sheaahhoi1的博客 7742

解决VNC Viewer连接Ubuntu桌面异常：从灰屏到完整菜单栏的实战指南

本文详细解析了使用VNC Viewer连接Ubuntu桌面时出现灰屏或菜单栏缺失的常见原因及解决方案。从桌面环境冲突到配置文件错误，提供了彻底清理系统残留配置、重新安装纯净桌面环境、优化xstartup文件配置等实战步骤，帮助用户快速恢复完整的远程桌面体验。

weixin_30892037的博客 82

hbase 修改表名_HBase修复HBase2.0的修复工具HBCK2

1. 背景在了解HBCK2之前，建议先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不适用，且它的写功能(-fix)已删除，它虽然还可以报告HBase2.x集群的状态，但是由于它不了解HBase2.x集群内部的工作原理，因此其评估将不准确。因此，如果你正在使用HBase2.x，那么对HBCK2应该需要了解一些，即使你不经常用到。2. 获取...

weixin_39938875的博客 303

从Unitree B2W到四足机器人：用Isaac Lab构建强化学习奖励函数的5个实战技巧

本文分享了在Isaac Lab仿真环境中，为Unitree B2W等四足机器人设计强化学习奖励函数的5个核心实战技巧。内容涵盖奖励函数的结构化组合、轮腿混合机器人的适配策略、课程学习的动态调整、域随机化增强鲁棒性以及高效的调试可视化方法，旨在帮助开发者构建更稳定、高效的机器人运动策略。

lg888的博客 1066

HBase之HBCK2

hbase集群修复工具

zincooo的博客 3031

《UDS协议从入门到精通》系列——图解0x23：通过地址读取内存

如何读取ECU中指定内存地址的数据？图解UDS 0x23服务带你快速上手！！

车载系统攻城狮 2623

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

技术篇-HBase 2.0 之修复工具 HBCK2 运维指南

概述目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对的问题就是当集群出了问题应该如何解决。在之前的 HBase版本中，我们可以依赖 hbck 来帮助检查问题和修复问题，在新的版本上我们应该如何去处理呢?HBASE-19121[1]给了我们答案——HBCK2。HBCK2 目前发布了 1.0 版本...