HBase shell执行批量脚本

HBase Shell脚本化运维与自动化管理实战 本文详细介绍了HBase Shell脚本化运维与自动化管理的实战技巧,包括基础脚本编写、非交互式执行、常用运维场景脚本示例以及高级技巧如Region分裂监控和Compaction自动化。通过实际案例展示了如何提升运维效率,减少人工错误,并提供了性能优化和安全注意事项。 阅读详情

场景描述:

HBase namespace中有大量无用的小表,占用了过多的block,需要批量删除,了解了一下有两种方式:

1、使用通配符

用drop命令可以删除表。在删除一个表之前必须先将其禁用。

hbase(main):018:0> disable 'emp'
0 row(s) in 1.4580 seconds


hbase(main):019:0> drop 'emp'
0 row(s) in 0.3060 seconds

使用exists 命令验证表是否被删除。

hbase(main):020:0> exists 'emp'
Table emp does not exist

0 row(s) in 0.0730 seconds

drop_all

这个命令是用来在给出删除匹配“regex”表。它的语法如下:

hbase> drop_all ‘t.*’ 

注意:要删除表,则必须先将其禁用。

示例

假设有一些表的名称为raja, rajani, rajendra, rajesh, 和 raju。

hbase(main):017:0> list
TABLE
raja
rajani
rajendra 
rajesh
raju
9 row(s) in 0.0270 seconds

所有这些表以字母raj开始。首先使用disable_all命令禁用所有这些表如下所示。

hbase(main):002:0> disable_all 'raj.*'
raja
rajani
rajendra
rajesh
raju
Disable the above 5 tables (y/n)?
y
5 tables successfully disabled

现在,可以使用 drop_all 命令删除它们,如下所示。

hbase(main):018:0> drop_all 'raj.*'
raja
rajani
rajendra
rajesh
raju

Drop the above 5 tables (y/n)?

y
5 tables successfully dropped

2、使用脚本

1、首先,编写一个文本文件disable_drop_htable.txt:
[plain]  view plain  copy
  1. disable 'lcsk.test_table' 
  2. drop   'lcsk.test_table'
  3. exit
给脚本赋予执行权限,然后执行:

hbase shell disable_drop_htable.txt

即可。

















利用shell脚本批量执行HBase相关命令操作方法 0 引言 生产中经常需要对HBase进行建表、删除、插入数据等相关操作,本文总结了两种常用的方法供读者使用 1 方法 (1)方法1利用EOF #!/bin/bash #table_head='iot_phm_' if [ "$1" != "" ];then table_head=$1 fi; CF='phm' if [ "$2" != "" ];then ... 阅读详情

相关推荐

hbase-shell批量命令执行脚本的方法

批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create 't_abc', 'info' EOF 以上这篇hbase-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持软件开发网。

hbase表shell批量删除,disable

执行命令: #展示匹配正则表达式的所有的表 echo -e "list '^.*:[0-9a-zA-Z]{1,8}$'" | hbase shell -n #disable所有匹配正则表达式的表 echo -e "disable_all '^.*:[0-9a-zA-Z]{1,8}$'\ny" | hbase shell -n #drop所有匹配正则表达式的表 echo -e "drop_all '^.*:[0-9a-zA-Z]{1,8}$'\ny" | hbase shell -n 如示例所示,dro

MDJ_D2T的博客 2819

深入解析DDR5 RFM机制:从JESD79-5标准到硬件实现

本文深入解析了DDR5内存标准中的关键机制——RFM(Refresh Management)。文章从JESD79-5标准出发,详细阐述了RFM如何通过RAA计数器实现从被动定时到主动响应的智能刷新管理,并探讨了其硬件实现细节、命令调度挑战及系统级设计考量,为芯片设计工程师优化DDR5内存子系统性能与可靠性提供了实践指导。

fff88的博客 492

HBase Shell命令行操作实验

1 HBase的访问方式和HBase Shell 1.1 HBase Shell命令行终端 1.进入HBase Shell终端环境 HBase Shell是由Apache HBase官方提供的Shell命令行操作接口,是一个基于Ruby脚本语言的终端环境。利用HBase Shell用户可以方便地执行终端命令来操作HBase,进行HBase数据表的创建、删除和修改,列出表信息,读取表数据,插入表数据,删除表数据等操作。 进入HBase shell终端环境之前,要先在LinuxShell命令行终端

qq_35447918的博客 1730

SAM2与Docker的完美组合:5分钟搞定Linux环境下的图像分割部署

本文详细介绍了如何在Linux环境下通过Docker快速部署SAM2图像分割模型,解决安装过程中的常见问题。文章提供了从镜像选择、CUDA版本匹配到容器构建的全流程指南,特别针对GPU加速环境下的'cudnn_frontend: No execution plans support the graph'等报错提供了实用解决方案,帮助开发者在5分钟内完成高效部署。

fern8的博客 934

爱快路由(ikuai)多WAN口配置实战:提升网络带宽与稳定性

本文详细解析了爱快路由(ikuai)多WAN口配置的实战技巧,包括双线智能分流、毫秒级故障切换和带宽叠加利用等核心功能。通过七种配置方案和智能QoS策略,帮助企业提升网络带宽与稳定性,实现99.9%以上的高可用性。

weixin_30566063的博客 707

HBase 批量删除表 disable_all drop_all

这两命令可以匹配正则表达式,对表进行批量操作,也可以对确定名字的单表操作,在表名不存在时,也不会返回exception,只会有提示信息。\ny是为了实现自动确认,因为这两命令需要用户交互确认。 例子,删除所有“haha”开头的表: echo -e “disable_all ‘haha.’\ny" | hbase shell -n echo -e "drop_all 'haha.’\ny” | hbase shell -n ...

萌兔兔MMQ!! 2608

传感器采集信息的频率(采样频率)

较高的采集频率通常能提供更详细的信息,但也会增加数据处理和存储的负担。在某些应用中,较高的采样频率可能是必要的,而在其他情况下,则可能会选择适当的低采样频率以降低功耗和数据处理压力。传感器采集信息的频率(采样频率)是指传感器在一定时间内对输入信号进行采样的次数。对于一些需要快速检测和响应的应用,如运动传感器、声音传感器等,高采样频率是至关重要的。高采样频率通常需要更多的功耗和更大的存储容量,因为产生的数据量更大。例如,对于快速运动的对象,较低的采样频率可能无法捕捉到运动的真实轨迹。

chen的博客 5350

大数据----33.hbase中的shell文件操作

这些是关于HBase在表中操作的命令。create: 创建一个表。list: 列出HBase的所有表。disable: 禁用表。is_disabled: 验证表是否被禁用。enable: 启用一个表。is_enabled: 验证表是否已启用。describe: 提供了一个表的描述。alter: 改变一个表。exists: 验证表是否存在。drop: 从HBase中删除表。drop_all: 丢弃在命令中给出匹配“regex”的表。

u014579001的博客 1493

1. 如何使用扣子工作流一键生成儿童绘本(可以发到小红书,微信公众号图文等)

本文介绍了使用扣子智能体一键生成儿童绘本的工作流。用户只需输入绘本主题,系统会自动生成Markdown格式内容,可直接发布到优快云、小红书等平台,还支持推送至微信公众号草稿箱。操作步骤包括:访问扣子网站导入工作流源代码,输入主题试运行,查看实时进度和最终输出结果。工作流编辑器会显示每个节点的执行状态和耗时,支持通过"查看日志"功能回溯历史运行记录。文末附有工作流源代码下载链接。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1251

基于Simulink建模仿真的滑模控制的磁悬浮轴承稳定控制仿真

磁悬浮轴承(Magnetic Bearing)利用电磁力来支撑和定位转子,无需机械接触,因此在高速旋转设备中具有广泛应用。滑模控制(Sliding Mode Control, SMC)是一种鲁棒性强的非线性控制方法,适用于磁悬浮轴承的精确控制。以下是基于Simulink的磁悬浮轴承滑模控制系统的详细设计与仿真步骤。通过上述步骤,设计并实现了基于 Simulink 和 Control System Toolbox 的磁悬浮轴承滑模控制系统。

MHD0815的博客 781

hbase shell批量执行命令

hbase shell批量执行命令。

码不停歇的博客 402

AI在保险产品定价优化中的创新应用

在当今保险市场中,准确合理的产品定价是保险公司实现可持续发展的关键因素之一。传统的保险产品定价主要基于经验数据和精算模型,但这种方式往往存在数据处理效率低、对复杂风险因素考虑不足等问题。本文的目的在于深入探讨AI技术如何在保险产品定价中进行创新应用,以提高定价的准确性、效率和灵活性,更好地满足市场需求和客户个性化需求。本文的范围涵盖了AI技术在保险产品定价各个环节的应用,包括风险评估、费率计算、产品设计等方面。同时,还会涉及到相关的核心算法、数学模型以及实际应用案例等内容。

欢迎来到我的优快云空间!这里聚焦AI大模型应用实战,分享前沿技术、实战案例与开发经验。 983

HBase shell执行脚本(批量添加数据)

HBase shell执行脚本(批量添加数据) 上一篇文章中(http://blog.youkuaiyun.com/wild46cat/article/details/53214159)写了一些如何在HBase 的shell中单条添加数据。现在介绍一种通过shell脚本方式批量进行Hbase shell操作的方法。 本文主要参考,官方文档:http://hbase.apache.org/book.

archer的技术故事 2万+

RTX6000 PRO BLACKWELL 最优 CUDA 版本选择指南(适配 vLLM/SGLang 大模型推理)

本文针对NVIDIA Blackwell架构RTX6000PRO显卡部署vLLM/SGLang大模型推理引擎时的CUDA版本选择问题,提出专业建议。分析表明,CUDA12.9(需搭配552.06+驱动)是最优选择,因其完全支持BW架构特性,且与vLLM/SGLang最新版本深度适配。文章提供详细的Linux环境部署教程,包括驱动升级、CUDA12.9安装及vLLM/SGLang配置步骤,并指出CUDA13.0目前适配不完善,不推荐新手使用。最后给出常见问题解决方案,强调版本匹配对推理性能和稳定性的重要性。

2501_93651177的博客 682

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

hbase-shell批量命令执行脚本

批量执行hbase shell 命令#!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create 't_abc',

program哲学 4922

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

shell脚本操作hbase的命令

0.进入hbase shell ./hbase shell help help “get” #查看单独的某个命令的帮助 status 查看状态 version 查看版本 2.DDL(数据定义语言Data Definition Language)命令 1. 创建表 create ‘表名称’,’列名称1’,’列名称2’,’列名称3’ 如: create 'member','member_id','address','info' 2.列出所有的表 list ‘abc.*’ #显示ab...

. 3301

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

hbase shell批量执行命令获取执行状态码

背景:项目中批量执行hbase shell无法获取到执行状态 方案:将每一行代码弄成文件,单独执行,获取每次执行的状态码,非0直接退出。 #!/bin/bash dir=$(cd "$(dirname "$0")" && pwd) #hbase命令文件,使用参数传入进来,文件为绝对路径,如: /test/hbase_command_list.txt hbase_command_file=$1 tmp_hbase_file=$dir/tmp_file.txt if [ ! -f $

why_adon的博客 1796

java生成数据插入hbase_脚本批量生成hbase插入脚本

数据插入HBase步骤:数据插入Hbase步骤1. 造好的数据复制到"input_data.txt"这个文档input_data.txt文档数据格式举例:put 库名 表名 pk_col字段值脱敏 F 字段名 值2. 双击执行"change_data2hbase.py"3. 观察到"output_data.txt"的修改日期更新为最新即可output_data.txt文档数据格式4. 复制"out...

weixin_33534991的博客 322

shell中调用hbase shell命令

4. hbase shell脚本   既然是shell命令,当然也可以把所有的hbase shell命令写入到一个文件内,想linux shell脚本程序那样去顺序的执行所有命令。如同写linux shell,把所有hbase shell命令书写在一个文件内,然后执行如下命令即可:   $ hbase shell test.hbaseshell

鲸鱼写程序的专栏 3979

HBase数据大批量导入方式总结和对比

HBase数据导入 1. 背景 在实际生产中,海量数据一般都不是直接存储在HBase中,这时候就需要一个数据导入到HBase的步骤 上一篇博客讲述了可以通过java api的方式或者shell 客户端方式导入或者创建数据,但这对于实际生产中海量数据导入来说,速度和效率都太慢了,所以我们需要使用其他方式来解决海量输入导入到HBase的问题 利用HBase底层文件是HFile形式存储再HDFS中,所以如果能够直接生成HFile的话,这时候再让HBase从HFile中读取数据,就会快很多。 2. 批量数据导入

xiaohu21的博客 3910

利用hive映射表完成hbase的批量删除操作

1.创建hive的hbase的映射表(我使用的是阿里云大数据平台,hbase的相关jar以及配置文件已经拷贝到hive相应的目录下面,该步骤省略) CREATE EXTERNAL TABLE `xxxxxxxxx`( `keyid` string COMMENT 'from deserializer', `action` string COMMENT 'from deserializer') ROW FORMAT SERDE 'org.apache.hadoop.hive....

放肆桀骜 670

shell脚本自动化收集

将某文件远程拷贝到指定ip机器上的指定目录下:./scp_file.sh /tmp/xx.sh /tmp/test/echo "将文件 $1 拷贝到 $2 目录下!"for ip in 192.168.60.243 192.168.60.244 192.168.60.245 192.168.60.246 192.168.60.248do  scp -r $1 root@$ip:$2  echo "

秀才的专栏 2635

批量执行hbase shell 命令 major_compact('t_abc')

  ? 1 2 3 4 5 6 7 8 9 10 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell &lt;&lt;EOF   truncate 'tracker_total_apk_f...

大JAVA解决方案 1925
上一篇: HBase meta元数据损坏导致hbase master初始化失败
下一篇: Ubuntu开启允许root用户远程登录
Ronney-Hua
博客等级 码龄10年 48粉丝 74原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值