批量执行hbase shell 命令 major_compact('t_abc')

最新推荐文章于 2024-10-24 11:16:55 发布
转载 最新推荐文章于 2024-10-24 11:16:55 发布 · 1.8k 阅读 · 0

本文分享了一个使用HBase Shell进行批量命令执行的脚本实例，包括表的截断、压缩、禁用、删除、创建等操作，为HBase数据库管理提供高效解决方案。

 

?

1

2

3

4

5

6

7

8

9

10

#!/bin/bash

source /etc/profile

exec $HBASE_HOME/bin/hbase shell <<EOF

  truncate 'tracker_total_apk_fact_zyt'

major_compact('t_abc')

disable 't_abc'

drop 't_abc'

create 't_abc', 'info'

 

EOF

以上这篇hbase-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

hbase-shell批量命令执行脚本的方法
01-10
批量执行hbase shell 命令 #!/bin/bash source /etc/profile ...以上这篇hbase-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。
关于Hbase手动实现Major Compact的办法
Fergal1204653510的专栏
12-24 1万+
本人小菜，如有错误或疏漏之处，请各位大牛批评指正，求共同进步。发表此博文，旨在帮助遇到类似问题的朋友一点小的建议或思路。废话少说，开始吧。。。       最近，因项目需要。Hbase数据量很大，项目组提出需要对Hbase中目前所有表（当前有5个）进行major_compact操作。是按照需要，每天凌晨3点自动执行major_compact操作。             具体实现：    
HBASE手动触发major_compact
bigdata_player
04-10 4895
定时器执行脚本： #!/bin/bash source /etc/profile sh ./hbase shell <<EOF major_compact 'table_name' EOF major_compact语法： 语法： #Compact all regions in a table: hbase> major_compact 't1' #Comp...
hbase major compact脚本
南风知我意
05-03 1863
major_compact脚本 注意大合并很消耗资源，启动时要挑选集群闲暇时间 针对hbase1.x 针对hbase2.x
hbase compaction
longlovefilm的博客
09-02 777
minor compaction 会真正删除 ttl的内容 major compaction ttl 多余version
HBase compaction了解和手动触发major_compaction方法
c18092694487t的博客
10-09 7111
Major Compaction 的作用： 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除 3.提高读写数据的效率 HBase中实现了两种compaction的方式： 1.Minor compaction:只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期版本清理，不做任何删除数据、多版本数据的清理工作。 2.Major compaction:是对Region下的HStore的所有StoreFile执行
[Hbase]一 HBase基础
weixin_44428807的博客
10-10 1440
HBase数据模型的关键在于 稀疏、分布式、多维、排序 的映射。其中映射 map指代非关系型数据库的 key-Value结构。
[HBase]二 HBase原生Shell命令大全
weixin_44428807的博客
10-24 700
HBase原生Shell命令汇总1. General组 51.1. 查看集群状态：status 51.2. 查看表的操作方法：table_help 51.3. 查看HBase的版本信息：version 51.4. 查看当前用户：whoami 52. Namespace组 52.1. 创建命名空间：create_namespace 52.2. 显示命名空间列表：list_namespace 5。
3.4.2 HBase（安装部署、shell基本操作命令、读写流程原理、合并拆分机制、API客户端操作）
weixin_47134119的博客
03-01 423
HBase 文章目录HBase第⼀部分 初识 HBase第 1 节 HBase 简介1.1 HBase是什么1.2 HBase的特点1.3 HBase的应⽤第 2 节 HBase数据模型第 3 节 HBase整体架构第 4 节 HBase集群安装部署 第⼀部分 初识 HBase 第 1 节 HBase 简介 1.1 HBase是什么 HBase 基于 Google的BigTable论⽂⽽来，是⼀个分布式海量列式⾮关系型数据库系统，可以提供超⼤规模数据集的实时随机读写。 接下来，通过⼀个场景初步认识HB
Hbase学习第 5 天：HBase 命令行操作（下）
坚强的小土豆
11-19 906
今天继续学习 HBase 命令行操作，详细操作如下 一、DML 操作语言 DML 是数据操作语言，用户可以通过这些语言实现对数据的基本操作，包括数据的增删改查 HBase DML 命令有 append、 count、 delete、 deleteall、 get、 get_counter、 get_splits、 incr、 put、 scan、 truncate、 truncate_preser...
【leveldb】Compact（二 十 二）：Major Compaction-Compaction的封装
蜗牛，为梦想而生。
09-14 782
在正式开始讲解Major Compaction之前我们需要知道Compact的Compaction数据怎么来的。leveldb将要进行Compact的数据封装成了一个class Compaction类，Compaction的数据结构以及怎么来的及做了些什么事，这是本篇要着重介绍的。 Compaction调用 当调用后台压缩函数DBImpl::BackgroundCompaction()时，根据手动Compact还是自动Compact来产生Compaction。 void DBImpl::Backgroun
HBase自动大合并脚本
Ancony_的博客
12-04 2402
HBASE有默认的大合并机制。我们可以使用major_compact命令手动合并。 但是如果hbase中的表很多的时候，就该写个脚本了。 说明：只使用了major_compact这个合并命令。 #!/bin/bash time_start=`date "+%Y-%m-%d %H:%M:%S"` echo "开始进行HBase的大合并.时间:${time_start}" str=`echo...
Python 学习-pop（）与remove（）的使用
zengal228的博客
08-25 7389
开始学习第一章-列表 书里的示例有pop（）与remove（）的使用使用，记录一些因使用不当报错的函数： 1. pop（）-默认删除列表末尾的数据，但不可指定删除某一个数据，但可按位指定删除 array.pop([i]) Removes the item with the index i from the array and returns it. The optional argumen...
HBase shell操作，看这一篇就够了
热门推荐
石榴姐yyds
03-02 1万+
1.基本操作 1 进入 HBase客户端的命令 hbase shell 2.查看帮助命令 help 3.查看当前数据库有哪些表 list 2.表的基本操作 1.创建表 hbase(main):006:0> create 'student','infor' 2.插入数据到表 hbase(main):008:0> put 'student','1001',...
HBase在split和major compact的一些非通常情况下的触发条件
大JAVA解决方案
12-12 701
原 HBase在split和major compact的一些非通常情况下的触发条件 2013年03月10日 17:51:25 杨步涛的博客 阅读数：9914更多 所属专栏： HBase存储 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/yangbutao/article/details/8627120 HBase中的major comp...
HBase 常用Shell命令
weixin_30378311的博客
07-25 1071
两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~ 进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main...
HBase学习笔记（四）——HBase的flush、compact机制
u011047968的专栏
06-20 2329
在HBase中数据被写入 WAL 和 MemStore 后就可以说数据已经被成功写入到 Hbase 了。MemStore 中的数据达到一定的阈值，会被 Flush 成 HDFS 中的 HFile 文件。但是随着 Flush 次数的不断增多，HFile 的文件数量也会不断增多。从多个 HFile 文件中读取记录，将导致更多的 IOPS，这会使得读取时延不断增大。 Compaction 可以将一些 HFile 文件合并成为较大的 HFile 文件，也可以把所有的 HFile 文件合并成为一个大的 HFi
hbase表属性立即出发major_compact
最新发布
07-04
在HBase中，`major_compact`是一种用于触发表或区域级别的合并操作，以减少存储碎片并优化性能。要立即触发`major_compact`操作，可以使用以下方法： 1. **通过HBase Shell触发**： ```bash hbase shell ``` ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值