HBase shell 使用SingleColumnValueFilter

最新推荐文章于 2024-05-04 05:14:47 发布
最新推荐文章于 2024-05-04 05:14:47 发布
阅读量4k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 hbase 文章标签： hbase hbaseshell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liliwei0213/article/details/51895919
本文介绍如何使用HBase中的SingleColumnValueFilter进行精确的数据检索。通过具体代码示例展示了如何设置过滤条件，包括列族、列限定符及比较操作等。此外还提供了优化查询性能的建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.util.Bytes
scan 't1', { COLUMNS => 'family:qualifier', FILTER =>
    SingleColumnValueFilter.new
        (Bytes.toBytes('family'),
         Bytes.toBytes('qualifier'),
         CompareFilter::CompareOp.valueOf('EQUAL'),
         Bytes.toBytes("value"))
}

如果需要需要显示整行，则将COLUMNS => 'family:qualifier'删除，另外可以在里面加上其它限制条件，推荐加入STARTROW   ENDROW提高查询速度，数据量多的情况下推荐加入LIMIT显示输出行数


来源：http://blog.youkuaiyun.com/liliwei0213/article/details/51895919

在HBase中执行查询操作通常使用HBase Shell或编程语言API（如Java或Python）来执行
BLOG域名:programb.blog.youkuaiyun.com
01-11 1112
在HBase中执行查询操作通常使用HBase Shell或编程语言API（如Java或Python）来执行。使用编程语言API，您可以使用相应的HBase客户端库来执行查询操作。这是一个简单的Java代码示例，演示了如何使用HBase Java API进行单行查询。这些示例仅为基本查询操作，HBase Shell还提供其他高级查询功能，如按时间戳过滤，使用正则表达式进行查询等。请注意，这只是HBase查询的基本示例，您可以根据实际需求和HBase的数据模型进行更复杂的查询操作。
Hbase数据过滤器之SingleColumnValueFilter
Baron_ND的博客
07-10 3827
当我们使用Flink获取hbase数据的时候，要想使用Hbase实现快速查询的功能，还能有过滤的作用，这时候就需要加入过滤器了，但是多个过滤器之前的使用需要一些注意，百度真的是坑，都是复制的，以下就是SingleColumnValueFilter 需要注意的一些点。 1.我们如果有多个值过滤，可以将每个过滤器加入到FilterList 里面，然后再scan.setFilter(list)； 2.注意的细节就是我们使用的每个过滤器里的字段必须要加入到扫描的列值中，scan.addColumn(FAMIL.
hbase的过滤 Filter 之SingleColumnValueFilter
luyee2010的专栏
12-28 1万+
scan的操作： hbase(main):002:0> scan 'scores' ROW                              COLUMN+CELL                                                                                    zkb
hbase SingleColumnValueFilter用法
xuanyuan0000的专栏
01-09 1万+
网上很多博客是这样使用的： Filter filter = new SingleColumnValueFilter( Bytes.toBytes("column1"), null, CompareOp.EQUAL, Bytes.toBytes("aaa")); // 当列column1的值为aaa时进行查询 Scan s = new Scan(); s.setFilter(filte
Hbase过滤器之 单列值过滤器（SingleColumnValueFilter） 版本hbase 2.1.0
right_hou的博客
09-05 4687
单列值过滤器（SingleColumnValueFilter） 用法一：单列值信息过滤器（ SingleColumnValueFilter） 过滤出具体行记录 /** * 通过具体列（col）的查询表相关记录 * @param tableName 表 * @param family 列族名 * @param col...
HBase javaAPI（三）：HBase过滤查询（filter）之列值过滤器SingleColumnValueFilter
czy的博客
10-24 5195
HBase过滤器（filter）提供了强大得功能来帮助用户筛选需要的数据。 HBase中的get、scan都支持过滤器，，过滤器在服务端生效，这样可以保证被过滤掉的数据不会被传送到客户端，从而提高了代码运行的效率。 过滤器的执行流程： 过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，基于HBase 本身提供的三维有序（行键，列，版本有序），这些过滤器可以高效地完成查询过滤的任务...
Hbase的过滤器操作ValueFilter和SingleColumnValueFilter
csdnliu123的博客
04-27 1371
1.ValueFilter： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.CompareOperator; import org.apache.hadoop.hbase.HBaseConfiguration; impor...
【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍(1)
2401_84170414的博客
04-28 910
如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。利用4中的程序，创建上表：表scores的概念视图如上图所示。创建并插入相关数据后，查看Hbase java api 文档。用于删除一个单元格数据，是 put 的反向操作；
使用SingleColumnValueFilter实现Hbase列字段过滤
胡杨的知识库
08-14 1130
public static void QueryByCondition(String tableName, String v1) { try { Connection connection = ConnectionFactory.createConnection(conf); HTable htable = (HTable) ...
关于HBase的SingleColumnValueFilter的坑
whoami_zy的博客
12-14 7141
由于某些需求，我们在查询hbase的时候，经常需要用到Filter。使用filter过滤来得到我们想要得到的值。 使用场景：我们需要通过Hbase里面的某些列的组合来查找符合这些条件的行。类似于mysql里面的where条件查询。根据列来查询。 下面是通过三列中的三个数据来查询到符合这三列的所有数据。 一般情况下，我们通过列来查询值，可能需要多个列组合的过滤。思路就是先创建一个FilterL
【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍
2401_84302507的博客
05-04 754
如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。利用4中的程序，创建上表：表scores的概念视图如上图所示。创建并插入相关数据后，查看Hbase java api 文档。用于删除一个单元格数据，是 put 的反向操作；
HBase的java代码开发（通过scan进行全表扫描）
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-18 1万+
第一步：创建maven工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> ...
Hbase shell过滤操作
人生是一场修行
10-22 3440
Get 和 Scan 操作都可以使用过滤器来设置输出的范围，类似于 SQL 里面的 Where 查询条件。使用 show_filters 命令可以查看当前 HBase 支持的 过滤器类型。 show_filters 使用过滤器的语法格式： scan '表名',{Filter => ”过滤器(比较运算符,’比较器’)”} 解释：Filter=>指明过滤的方法,整体可用大括号引用,也可...
HBase shell scan命令中filter的使用
热门推荐
无他，唯程序尔
06-29 2万+
在hbase shell中使用scan命令时，可以使用filter来过滤记录。 这儿说明使用SingleColumnValueFilter来进行过滤的情况。
hbase的SingleColumnValueFilter和addColumn的坑
bradyM的博客
04-20 1144
问题： 最近在查一张Hbase表时，设定单列过滤器，取time列时间为某一天的数据： filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes("cf"), Bytes.toBytes("time"), CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryComparator(B...
HBASE过滤器--单值过滤器
11-18 599
Hbase过滤器之 单列值过滤器（SingleColumnValueFilter） 版本hbase 2.1.0 单列值过滤器（SingleColumnValueFilter） 用法一：单列值信息过滤器（ SingleColumnValueFilter） 过滤出具体行记录 /** * 通过具体列（col）的查询表相关记录 * @param tableName 表 * @param family 列族名 * @param col...
hbase内置过滤器SingleColumnValueFilter条件查询注意点
wyyrockking的博客
10-20 1689
1.今天查询hbase时，加了一个d:ufr的过滤，导致查询失效。原来是因为规定了查询返回的列，而d：ufr不在这些列中导致查询失败。如果不限定返回的列则不会出现这种什么也查询不到的情况。 2.SingleColumnValueFilter支持某一列多次不等于（CompareOp.NOT_EQUAL）判断，但不支持某一列多次等于（CompareOp.EQUAL）判断。
hbase 常用过滤器相关知识（SingleColumnValueFiter、正则过滤器等）及踩坑
管它是人是狐还是萨摩耶的博客
10-15 1146
整理一下最近工作实际开发用到的各种情况吧，持续更新。因为公司内网，纯手打，兄弟们采纳的时候报错见谅，欢迎评论指出。 1. SingleColumnValueFiter 作用：用一列的值决定这一行的数据是否被过滤 //添加过滤器 //用于综合使用多个过滤器 其实严格来说也是一种过滤器 FilterList filterList = new FilterList(); Singleolu...
hbase scan中匪夷所思的SingleColumnValueFilter和COLUMNS
不是程序员
03-02 9126
假设关系型数据库中存在如下表(test_row_key)------------------------------------------TIME_ID    AREA_ID       INDEX1.......................................... 201206        730    201206730 201206        731    2012
hbase2.4.11如何使用hbase shell
最新发布
03-23
<think>好的，我现在需要帮助用户了解如何在HBase 2.4.11中使用HBase Shell。用户可能是一位刚开始接触HBase的开发人员或运维人员，需要基础的指导来操作HBase Shell。首先，我应该先确认用户的需求，他们可能想了解如何启动HBase Shell，执行基本的命令，比如创建表、插入数据、查询数据等。 接下来，我需要回忆HBase Shell的常用命令，并确保这些命令在2.4.11版本中仍然适用。例如，创建表的语法可能需要指定列族，而新版本是否支持旧语法需要确认。此外，用户可能对数据操作如put、get、scan等命令感兴趣，这些是日常使用中常见的操作。 然后，我应该考虑用户可能遇到的常见问题，比如如何退出Shell，如何查看帮助信息，或者如何处理连接问题。此外，HBase Shell中的权限管理和高级功能（如过滤器）是否也是用户需要的内容？不过根据问题描述，用户可能只需要基础的使用方法。 另外，用户提供的日志在之前的对话中可能相关，但当前问题集中在HBase Shell的使用上，所以可能不需要涉及日志分析部分。但需要确保回答结构清晰，分步骤说明，帮助用户逐步掌握。 最后，需要检查是否需要提到配置环境变量或启动HBase服务的前提条件，比如确保HBase已经正确安装并且服务正在运行。如果用户没有正确启动HBase，HBase Shell可能无法连接，所以可能需要简要提及这一点，但根据问题，用户可能已经具备这些前提条件，所以可能放在注意事项里。</think>### **HBase 2.4.11 HBase Shell 基础使用指南** 以下是HBase Shell的核心操作流程，覆盖表管理、数据读写及调试技巧： --- #### **一、启动HBase Shell** 1. **前提条件**： - HBase集群已启动（通过 `start-hbase.sh`） - 确认环境变量 `HBASE_HOME` 正确配置 2. **进入Shell**： ```bash # 执行以下命令进入交互式命令行 hbase shell ``` **成功标志**：提示符变为 `hbase(main):001:0>` --- #### **二、表管理操作** ##### **1. 创建表** ```ruby # 语法：create '<表名>', {NAME => '<列族名>', 属性...}, {NAME => '<列族名>', ...} create 'user', 'info', 'data' # 示例：创建表user，含两个列族info和data（默认属性） ``` ##### **2. 查看表列表** ```ruby list # 输出示例：TABLE user ``` ##### **3. 查看表结构** ```ruby describe 'user' # 输出：显示列族、版本数（VERSIONS）、压缩算法等配置 ``` ##### **4. 删除表** ```ruby disable 'user' # 先禁用表 drop 'user' # 删除表 ``` --- #### **三、数据读写操作** ##### **1. 插入/更新数据** ```ruby # 语法：put '<表名>', '<行键>', '<列族:列名>', '<值>' put 'user', 'row1', 'info:name', 'Alice' put 'user', 'row1', 'info:age', '30' ``` ##### **2. 读取单行数据** ```ruby get 'user', 'row1' # 输出：显示row1的所有列数据 ``` ##### **3. 范围扫描** ```ruby scan 'user', {STARTROW => 'row1', ENDROW => 'row5'} # 扫描行键范围[row1, row5) ``` ##### **4. 删除数据** ```ruby delete 'user', 'row1', 'info:age' # 删除指定列 deleteall 'user', 'row1' # 删除整行 ``` --- #### **四、高级功能** ##### **1. 过滤器查询** ```ruby # 查询info列族中age=30的行 scan 'user', {FILTER => "SingleColumnValueFilter('info', 'age', =, 'binary:30')"} ``` ##### **2. 命名空间管理** ```ruby create_namespace 'test_ns' # 创建命名空间 create 'test_ns:user', 'info' # 在命名空间下建表 ``` ##### **3. 权限控制** ```ruby grant 'user1', 'RW', 'user' # 授予用户user1读写权限 user_permission 'user' # 查看表权限 ``` --- #### **五、调试与优化** ##### **1. 查看操作耗时** ```ruby # 开启调试模式（显示RPC调用时间） debug 'user' ``` ##### **2. 手动触发Major Compaction** ```ruby major_compact 'user' # 合并HFile优化读取性能 ``` ##### **3. 监控Region分布** ```ruby balance_switch true # 开启Region自动均衡 status 'detailed' # 查看Region分布详情 ``` --- #### **六、常用快捷命令** | 命令 | 作用 | |---------------------|--------------------------| | `exit` 或 `quit` | 退出HBase Shell | | `help '命令名'` | 查看具体命令帮助（如`help 'create'`） | | `version` | 显示HBase版本 | | `whoami` | 查看当前操作用户 | --- #### **七、注意事项** 1. **行键设计**：避免使用连续数字（导致热点），推荐哈希或反转时间戳。 2. **列族数量**：单个表列族不宜超过3个（影响性能）。 3. **预分区**：建表时用 `SPLITS` 参数预分区（防止Region热点）： ```ruby create 'user', 'info', {SPLITS => ['a', 'm', 'z']} ``` --- **示例完整流程**： ```ruby # 进入Shell hbase shell # 建表 create 'user', 'info', 'data' # 插入数据 put 'user', 'row1', 'info:name', 'Alice' put 'user', 'row1', 'data:history', '2023-01' # 查询数据 get 'user', 'row1' # 删除表 disable 'user' drop 'user' # 退出 exit ``` 若需更复杂操作（如协处理器、快照管理），请提供具体场景！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值