统计HBase表记录条数的方法

原创 于 2024-04-01 14:41:12 发布 · 2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #数据库 #大数据

本文介绍了在HBase中使用hbase-shell的count命令以及RowCounter包执行MapReduce任务来统计表行数的两种方法，强调了后者的高效性，适合大规模数据表统计。

java 表的记录集个数_HBase统计表行数(RowCount)的四种方法-优快云博客

一、hbase-shell的count命令

这是最简单直接的操作，但是执行效率非常低，适用于百万级以下的小表RowCount统计！

hbase> count 'ns1:t1'

hbase> count 't1'

hbase> count 't1', INTERVAL => 100000

三、利用hbase.RowCounter包执行MR任务

这种方式效率非常高！利用了hbase jar中自带的统计行数的工具类！

通过 $HBASE_HOME/bin/hbase 命令执行：

[root@cdh1 ~]# hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'sda_crm_calls20180102'

走向自由
关注
HBase（6）：计数操作
u013938578的博客
06-29 961
注意：这个操作是比较耗时的。在数据量大的这个命令可能会运行很久，真实环境不要使用该命令。查看HBase中的ORDER_INFO表，一共有多少条记录。count命令专门用来统计一个表中有多少条数据。count '表名'
HBase shell操作，看这一篇就够了
石榴姐yyds
03-02 1万+
1.基本操作 1 进入 HBase客户端的命令 hbase shell 2.查看帮助命令 help 3.查看当前数据库有哪些表 list 2.表的基本操作 1.创建表 hbase(main):006:0> create 'student','infor' 2.插入数据到表 hbase(main):008:0> put 'student','1001',...
平台中HBase库数据量如何统计呢？
美丽的毛毛草
08-21 3120
平台中HBase库数据量如何统计呢？1. 什么需求？2. 怎么做？2.1 弯路2.2 接坑3. HyperLogLog基数统计算法是什么？4. HLL验证5. 如何应用到需求中？ 这是一两年前的任务单了，来得比较突然，就是需要知道一下目前平台中数据总量（存储量和条数），每日新增数据量，表中字段有值率。 哇，接到这个任务，感觉存储量直接看集群统计总容量就好，条数怎么整？ 下面我就针对HBase库中的条数，每日新增条数，字段个数 来讲讲我们当年走过的弯路，填过的坑。 1. 什么需求？ 统计每张HBase表的数
Hbase查询数据的总条数
qq_16733389的博客
08-09 3010
表记录数是通过MapReduce计算的方式得出的结果，因此会执行一条作业来专门计算表数据。
HBase查询一张表的数据条数的方法
优快云2022博客之星Top39；华为云博主7&，优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
11-26 6439
HBase查询一张表的数据条数的方法
spark-shell 统计hbase数据条目数
YiqiangXu的博客
09-29 2360
sc.stop sc.stop import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.client.HBaseAdmin import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor, TableName} import or
HBase（7）：大量数据的计数统计
u013938578的博客
06-29 1205
当HBase中数据量大时，可以使用HBase中提供的MapReduce程序来进行计数统计。
Hbase表主备离线比对
stackess
08-08 573
HBase定义 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。 HBase 利用Hadoop HDFS 作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 和传统数据库不同的是，HBase的表不用定义有哪些列（字段，Column），因为列是可以动态增加和删除的。但HBase表需要定义列族（Column Fa...
hbase2.0利用协处理器（coprocessor）统计行数
xuexi_39的博客
03-01 3154
一、启动协处理器 在hbase集群环境中，在hbase-site.xml配置文件中添加属性信息如下： <property> <name>hbase.coprocessor.user.region.classes</name> <value>org.apache.hadoop.hbase.coprocessor.AggregateIm...
HBase统计表行数(RowCount)的四种方法
热门推荐
Abysscarry的博客
09-27 5万+
背景： 对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount 的方法却有好几种不同的花样，并且执行效率差别巨大！下面来研究下吧~ 测试集群：HBase1.2.0 - CDH5.13.0 四台服务器 注：以下4种方法效率依次提高 一、hbase-shell的count命令 这是最简单直接...
HBase java 统计表行数
行人事，知天命
08-25 1万+
HBase统计表行数的方式如下： 一、HBase自带MapReduce表行数统计RowCounter $HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tableName’ 二、使用Scan与Filter的方式对表行数进行统计 [java] view p
统计hbase表行数
u013176920的博客
07-01 348
小表可以scan 'default:student' 统计hbase表行数两种方式 方式一：对于大表速度慢些 count 'default:student' 方式二：对于大表速度快些 hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'default:people'
Hbase 统计表行数的3种方式总结
赶路人儿
10-15 2127
有些时候需要我们去统计某一个hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作： 1、count命令 最直接的方式是在hbase shell中执行count的命令可以统计行数。 hbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hbase
count hbase java_HBase统计表行数(RowCount)的四种方法_Abysscarry的博客-优快云博客
weixin_32520565的博客
02-16 1615
背景：对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount的方法却有好几种不同的花样，并且 执行效率差别巨大！下面来研究下吧~测试集群：HBase1.2.0 - CDH5.13.0 四台服务器注：以下4种方法效率依次提高一、hbase-shell的count命令...
Hbase查询一张表的行数
寒夜二十五
09-10 6325
1.第一种方法(适用于表数据量不太大的情况) 最直接的方式是在hbase shell中执行count的命令可以统计行数。 hbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hbase> count ‘t1′, CACHE => 1000 hbase> count ‘t1′, INTERV...
Hbase统计表的行数的3种方法
大数据技术派
06-15 2771
有些时候需要我们去统计某一个hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作:这里有一张hbase表test...
HBase行数统计
jiaaq2008的博客
04-15 425
分布式数据库HBase本身不支持SQL语法，要统计表的行数，只能通过其他的方式来实现。HBase的shell脚本提供了count命令，但该命令只是简单地scan全表然后将行数累加，效率很低只能用于测试或者统计小表了。另一解决方案是使用MapReduce，HBase自身提供了org.apache.hadoop.hbase.mapreduce.RowCounter类，可以方便地在命令行调用进行统计，...
【分布式数据库】HBase数据库中某张表中数据条数统计
康师傅没有眼泪
08-22 1160
统计命令 [kangll_hdp@hdp101 hadoop]$ hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'default:devicestatus' default: 命名空间 devicestatus: 表名 统计结果
HBase统计表的行数命令
最新发布
05-10
### HBase统计表行数的方法 在HBase中，可以通过多种方法来统计表中的行数。以下是几种常见的实现方式： #### 方法一：通过 `count` 命令 可以使用HBase Shell中的 `count` 命令来统计指定表的行数。该命令会扫描整个表并返回总行数。 ```bash count 'table_name' ``` 此命令会在后台启动一个MapReduce作业或者简单的客户端扫描操作[^3]。 #### 方法二：通过 MapReduce 实现 如果数据量较大，推荐使用MapReduce程序来计算行数。这种方式性能更高，适合大规模分布式环境下的统计数据需求。下面是一个简单的Java代码示例用于统计行数： ```java Configuration config = HBaseConfiguration.create(); Connection connection = ConnectionFactory.createConnection(config); Table table = connection.getTable(TableName.valueOf("table_name")); Scan scan = new Scan(); scan.setCaching(500); // 设置缓存大小以提高性能 ResultScanner scanner = table.getScanner(scan); long count = 0; for (Result result : scanner) { count++; } System.out.println("Row Count: " + count); scanner.close(); table.close(); connection.close(); ``` #### 方法三：借助 Hive on HBase 当需要更灵活的数据分析能力时，可以选择将HBase与Hive集成起来。通过创建外部表映射到HBase表之后，可以在Hive SQL查询中轻松获取行数信息。 ```sql CREATE TABLE hive_hbase_1(key INT,value STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf:val") TBLPROPERTIES("hbase.table.name"="t_hive", "hbase.table.default.storage.type"="binary"); SELECT COUNT(*) FROM hive_hbase_1; ``` 这种方法特别适用于复杂查询场景以及批量处理任务[^1]。 #### 方法四：自定义脚本或工具 对于某些特定业务逻辑下可能还需要开发专属解决方案比如Python脚本来完成类似功能。这里给出一段基于happybase库的例子展示如何快速得到记录总数： ```python import happybase conn = happybase.Connection('localhost') table = conn.table('table_name') counter = sum(1 for _ in table.scan()) print(f'Total Rows: {counter}') ``` 以上就是关于HBase统计表行数的一些常用手段介绍，请根据实际情况选取合适的方式加以运用。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值