定时清空 HBase 表

最新推荐文章于 2024-09-11 14:35:26 发布
原创 最新推荐文章于 2024-09-11 14:35:26 发布 · 629 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase

本文介绍了一个具体的业务场景下，如何利用HBase进行数据管理。具体包括：如何将当天的数据写入HBase以供后台查询及前台展示，并通过shell脚本和定时任务实现在第二天清空前一天的数据，保持数据的时效性和准确性。

文章目录

一、 需求

业务上需要将当天的数据写入hbase 提供给后台查询前台展示，第二天清空前一天的数据

二、实现

  1. vim truncateGpsToDay.sh

    truncate 'TBL_GPS_TODAY'

  2. executorTruncateToDay.sh

    hbase shell /root/truncateGpsToDay.sh

  3. 配置定时任务

    0 0 * * * sh /root/executorTruncateToDay.sh
linux hbase 表大小,HBase实现记录定期定量删除
weixin_34464974的博客
05-05 319
文中可能涉及到的API：Begin！HBase如何实现定期定量的删除记录？使用场景分析：我们在HBase中存储的记录可能有一些是增速很快且又不需要永久保存的，比如大量的“系统日志”，也许只需保存最近几个月记录便可。我们的存储空间又很有限，尤其是HDFS这种多副本容灾存储。再加上HBase在存储每一行数据时，分别要为每一列保存一份rowKey，如果一行有10列，光rowKey就要存储10份，开销可想...
定期删除Hdfs文件脚本
victorzzzz的专栏
10-25 371
#!/bin/bash usage="$0 Usage: xx [days]" if [ ! "$1" ] then echo $usage exit 1 fi now=$(date +%s) ./hadoop fs -ls -r xxxx路径 | while read f; do #取文件串中的日期信息 dir_date=`echo $f | awk '{print $6}'` difference=$(( ( $now - $(date -d "$dir_date" +%s) ...
java操作Hbase之实现表的创建删除源码
01-17
java操作Hbase之实现表的创建删除，源代码，面向不使用maven的初学者，因此附带全部所需jar包。
使用HBase的数据生命周期管理：自动删除过期数据
AI天才研究院
01-21 1870
1.背景介绍 在大数据时代，数据的生命周期管理成为了一项重要的技术挑战。HBase作为一个高性能的分布式数据库，可以帮助我们解决这个问题。本文将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体最佳实践：代码实例和详细解释说明 实际应用场景 工具和资源推荐 总结：未来发展趋势与挑战 附录：常见问题与解答 1. 背景介绍 HBas...
shell定时清理数据表历史数据
wz122330的博客
06-06 1442
shell定时清理数据表历史数据实现代码 实现代码 一天执行一次，直接拷贝到daily。 [wangzheng@wangzheng-centos ~]$ cat archive_cron.sh #!/bin/bash # Unit of interval: daily, hourly, monthly, weekly, selfly. interval="daily" # If you wa...
hbase合集
leezsj的博客
07-17 1448
HBASE hbase的来源 1、hdfs的数据读写延迟高 2、不能进行实时删除局部数据 3、hive的数据必须要指定的列或者字段，必须要格式化的数据 4、hbase来源于google的bigtable hbase的定义 hbase是一个基于hadoop开源的，分布式的，多版本的，可扩展的，非关系型数据库，能够处理海量数据，（数十亿行，数百万列），面向列存储，面向稀疏存储（mysql面向行存储） HBase特性 hbase类似于：redis，clickhouse,mongodb，canss
Hbase的安装和基础编程
半濠春水的博客
05-07 8305
（一）安装Hbase，能够查询Hbase的版本 由于HBase对Hadoop具有版本依赖性，所以在安装HBase2.2.2时要首先安装Hadoop3.1.3。 ①解压hbase-2.2.2-bin.tar.gz文件 压缩格式的文件hbase-2.2.2-bin.tar.gz下载到本地电脑，保存在“/home/hadoop/下载”下，现在解压包装包至路径 /usr/local下。 ②文件改名 将解压的文件名hbase-2.2.2改为hbase以方便使用。 把hbase目录权限赋予给hadoop用户。 .
HBase详细的安装和使用方法
优快云专家-微编程的博客
12-20 2801
简介 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 民间中文文档：https://hbase.apachecn.org/#/ 2006年Google发表BigTable白皮书 2006年开始开发HBase 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 2010年HBase成为Apache顶级项目 现在很多公司基
大数据技术学习笔记（十三）—— HBase
hu_wei123的博客
03-19 2132
HBase 是一种分布式可扩展支持海量数据存储的NoSQL数据库，支持对大数据进行随机、实时的读/写访问。NoSQL数据库（非关系型数据库）是一种不同于传统关系型数据库的数据库管理系统。它们使用灵活的数据模型，不遵循传统的表格关系模式，而是采用键值对（如Redis）、文档型（如MongoDB）、列族存储（如HBase）、图形数据库（如Neo4j）等各种数据模型。非关系型数据库主要用于存储和处理大量分散的数据，具有高性能、高可扩展性和高可用性的特点。
HBase万字详细原理解析
weixin_38836273的博客
05-26 1110
HBase超详细原理 文章目录HBase超详细原理一、HBase数据模型1.1 逻辑视图与物理视图1.2 多维稀疏排序Map Java、大数据开发学习要点（持续更新中…） 一、HBase数据模型   从逻辑视图来看。HBase中的数据是以 表 形式进行组织的，和关系型数据库中的表相同，HBase中的表也由行和列构成。但从物理视图来看，HBase是一个Map，由键值对(K，V)构成，不过与传统的Map不同的是HBase是一个稀疏的、分布式的、多维排序的Map。 1.1 逻辑视图与物理视图 首先看HBas
Java操作Hbase进行建表、删表以及对数据进行增删改查
05-14
Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
hbase之定时器
薛小布的博客
05-19 378
1、创建表空间 creat_namespace ‘xzc’ 2、创建表、列族，设置列族的失效时间为100s create 'xzc:test',{NAME=>'xx',TTL=>'100'} 3、修改表结构,增加列族 alter 'xzc:test',{NAME=>’yy’} 4、插入数据 put 'xzc:test' ,'r4','xx:address','shandi' put 'xzc:test' ,'r4’,’yy:name,’yyy’ 5、查询数
【分布式数据库】HBase truncate的问题导致数据写入慢
康师傅没有眼泪
09-26 1320
HBase truncate的问题 情景： 使用hbase命令truncate 'tablename' 本来这张表进行了预分区，但是truncate之后表的预分区信息就没有了。 问题： 1.使用truncae如何与原表的预分区保持一致？ 要保留分区应该使用 truncate_preserve 'tablename'命令，如果直接使用truncate 'tablename'是不会保留分区的 ...
【大数据】HBase 集群部署：全流程详细步骤解析
有知识，世界会更大
07-28 2334
零基础手把手教学安装HBase分布式集群（非常详细）！
HBase清空表数据
热门推荐
mnasd的博客
07-18 2万+
一、清除之前检查 1.表的region分配情况； 2.表的大小（grafana可以看到）；   二、清除之前备份 hbase(main):001:0> disable 'gx_rpt:msg_push_taskid_group_name' 0 row(s) in 2.1140 seconds hbase(main):002:0> snapshot 'gx_rpt:msg_p...
HBase,JavaAPI操作 HBase,220827,
m0_48941160的博客
08-27 674
2. 练习Hbase的Shell. create, get, scan, count, list, describe, truncate, disable, drop。重点::status, list, count, describe, disable, drop, truncate。高级: status, list, count, describe, disable, drop, truncate。基础: create, put, get, scan。版本号是多,只删最新版本,delete,...
HBase表数据清理
star_apple的博客
09-11 808
从2023_tables.dat文件中读取需要检查的表名，生成表的详情日志。遍历表详情日志，备份，停用，修改和开启表。3、修改完后，检查ttl。
Hbase 删除表数据
c18092694487t的博客
05-18 1万+
1.Hbase 清空整个表数据 注意：清空表数据是否要保留预分区 # truncate会把表分区也清除掉 truncate 'namespace:tableName' # truncate_preserve只清除数据 truncate_preserve 'namespace:tableName 2.删除具体数据 # 删除emp表中特定的单元格数据 delete 'emp','row','column name','time stramp' # 删除emp表中第二行personal data:name列
sh文件定时删除hbase表中的数据
qq_28429443的博客
06-11 1065
1.先在系统中建一个txt文件； vi test.txt 然后在test文件中添加要执行的hbase shell语句 truncate test exit （hbase 命令执行后不会自动退出，所以执行exit 这个命令强制退出） 2.新建一个.sh文件 vi test.sh 然后在.sh文件中写入 hbase shell /root/test/test.txt（后面的地址要详细的文件地址） 然后...
hbase 清空表 java api
最新发布
09-28
// 清空表 admin.enableTable(tableName); // 启用表 System.out.println("Table cleared successfully"); connection.close(); // 关闭连接 } } ``` 请注意，在实际操作前，你需要确保这个删除操作不会影响到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值