批量执行hbase shell 命令 major_compact('t_abc')

最新推荐文章于 2025-03-25 21:36:18 发布
最新推荐文章于 2025-03-25 21:36:18 发布
阅读量1.8k 收藏
点赞数
分类专栏： hbase
本文分享了一个使用HBase Shell进行批量命令执行的脚本实例，包括表的截断、压缩、禁用、删除、创建等操作，为HBase数据库管理提供高效解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

?

1

2

3

4

5

6

7

8

9

10

#!/bin/bash

source /etc/profile

exec $HBASE_HOME/bin/hbase shell <<EOF

  truncate 'tracker_total_apk_fact_zyt'

major_compact('t_abc')

disable 't_abc'

drop 't_abc'

create 't_abc', 'info'

 

EOF

以上这篇hbase-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

关于Hbase手动实现Major Compact的办法
Fergal1204653510的专栏
12-24 1万+
本人小菜，如有错误或疏漏之处，请各位大牛批评指正，求共同进步。发表此博文，旨在帮助遇到类似问题的朋友一点小的建议或思路。废话少说，开始吧。。。       最近，因项目需要。Hbase数据量很大，项目组提出需要对Hbase中目前所有表（当前有5个）进行major_compact操作。是按照需要，每天凌晨3点自动执行major_compact操作。             具体实现：    
HBASE手动触发major_compact
bigdata_player
04-10 4834
定时器执行脚本： #!/bin/bash source /etc/profile sh ./hbase shell <<EOF major_compact 'table_name' EOF major_compact语法： 语法： #Compact all regions in a table: hbase> major_compact 't1' #Comp...
hbase shell批量执行命令
最新发布
码不停歇的博客
03-25 245
hbase shell批量执行命令。
hbase major compact脚本
南风知我意
05-03 1831
major_compact脚本 注意大合并很消耗资源，启动时要挑选集群闲暇时间 针对hbase1.x 针对hbase2.x
hbase compaction
longlovefilm的博客
09-02 712
minor compaction 会真正删除 ttl的内容 major compaction ttl 多余version
HBase compaction了解和手动触发major_compaction方法
c18092694487t的博客
10-09 6805
Major Compaction 的作用： 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除 3.提高读写数据的效率 HBase中实现了两种compaction的方式： 1.Minor compaction:只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期版本清理，不做任何删除数据、多版本数据的清理工作。 2.Major compaction:是对Region下的HStore的所有StoreFile执行
hbase-shell批量命令执行脚本的方法
01-10
批量执行hbase shell 命令 #!/bin/bash source /etc/profile ...以上这篇hbase-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。
[Hbase]一 HBase基础
weixin_44428807的博客
10-10 1330
HBase数据模型的关键在于 稀疏、分布式、多维、排序 的映射。其中映射 map指代非关系型数据库的 key-Value结构。
[HBase]二 HBase原生Shell命令大全
weixin_44428807的博客
10-24 600
HBase原生Shell命令汇总1. General组 51.1. 查看集群状态：status 51.2. 查看表的操作方法：table_help 51.3. 查看HBase的版本信息：version 51.4. 查看当前用户：whoami 52. Namespace组 52.1. 创建命名空间：create_namespace 52.2. 显示命名空间列表：list_namespace 5。
3.4.2 HBase（安装部署、shell基本操作命令、读写流程原理、合并拆分机制、API客户端操作）
weixin_47134119的博客
03-01 397
HBase 文章目录HBase第⼀部分 初识 HBase第 1 节 HBase 简介1.1 HBase是什么1.2 HBase的特点1.3 HBase的应⽤第 2 节 HBase数据模型第 3 节 HBase整体架构第 4 节 HBase集群安装部署 第⼀部分 初识 HBase 第 1 节 HBase 简介 1.1 HBase是什么 HBase 基于 Google的BigTable论⽂⽽来，是⼀个分布式海量列式⾮关系型数据库系统，可以提供超⼤规模数据集的实时随机读写。 接下来，通过⼀个场景初步认识HB
Hbase学习第 5 天：HBase 命令行操作（下）
坚强的小土豆
11-19 875
今天继续学习 HBase 命令行操作，详细操作如下 一、DML 操作语言 DML 是数据操作语言，用户可以通过这些语言实现对数据的基本操作，包括数据的增删改查 HBase DML 命令有 append、 count、 delete、 deleteall、 get、 get_counter、 get_splits、 incr、 put、 scan、 truncate、 truncate_preser...
【leveldb】Compact（二 十 二）：Major Compaction-Compaction的封装
蜗牛，为梦想而生。
09-14 741
在正式开始讲解Major Compaction之前我们需要知道Compact的Compaction数据怎么来的。leveldb将要进行Compact的数据封装成了一个class Compaction类，Compaction的数据结构以及怎么来的及做了些什么事，这是本篇要着重介绍的。 Compaction调用 当调用后台压缩函数DBImpl::BackgroundCompaction()时，根据手动Compact还是自动Compact来产生Compaction。 void DBImpl::Backgroun
HBase自动大合并脚本
Ancony_的博客
12-04 2336
HBASE有默认的大合并机制。我们可以使用major_compact命令手动合并。 但是如果hbase中的表很多的时候，就该写个脚本了。 说明：只使用了major_compact这个合并命令。 #!/bin/bash time_start=`date "+%Y-%m-%d %H:%M:%S"` echo "开始进行HBase的大合并.时间:${time_start}" str=`echo...
Python 学习-pop（）与remove（）的使用
zengal228的博客
08-25 7306
开始学习第一章-列表 书里的示例有pop（）与remove（）的使用使用，记录一些因使用不当报错的函数： 1. pop（）-默认删除列表末尾的数据，但不可指定删除某一个数据，但可按位指定删除 array.pop([i]) Removes the item with the index i from the array and returns it. The optional argumen...
HBase 常用Shell命令
weixin_34265814的博客
12-31 2186
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase shell操作，看这一篇就够了
热门推荐
石榴姐yyds
03-02 1万+
1.基本操作 1 进入 HBase客户端的命令 hbase shell 2.查看帮助命令 help 3.查看当前数据库有哪些表 list 2.表的基本操作 1.创建表 hbase(main):006:0> create 'student','infor' 2.插入数据到表 hbase(main):008:0> put 'student','1001',...
HBase在split和major compact的一些非通常情况下的触发条件
大JAVA解决方案
12-12 674
原 HBase在split和major compact的一些非通常情况下的触发条件 2013年03月10日 17:51:25 杨步涛的博客 阅读数：9914更多 所属专栏： HBase存储 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/yangbutao/article/details/8627120 HBase中的major comp...
Hbase常见面试题
weixin_41367158的博客
03-13 568
也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionServer就可能会处于比较空闲的状态。：达到TTL（记录保留时间）会被移除，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高。：用于冷数据压缩，与 Snappy 和 LZO 相比，GZIP 的压缩率更高，但是更消耗 CPU，解压/压缩速度更慢。，LZ4 的压缩率和 LZO 的压缩率相差不多，但是LZ4的解压/压缩速度更快。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值