【图文详细 】HBase——过滤器查询

最新推荐文章于 2022-05-24 20:33:07 发布
最新推荐文章于 2022-05-24 20:33:07 发布
阅读量282 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： HBase 文章标签： HBase过滤器查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42246689/article/details/84888479
博客主要介绍HBase过滤器查询，包含比较过滤器和专用过滤器两部分内容，聚焦于信息技术领域中HBase数据库的查询技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、比较过滤器

2、专用过滤器

 

【图文详解】HBase 的数据模型与架构原理详解
AI天才研究院
12-11 1万+
HBase 简介 https://hbase.apache.org/HBase， Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式开源 NoSQL 数据库，面向列存储。主要用来存储非结构化和半结构化的松散数据。HBase 的设计思想，来源于 Fay Chang所撰写的Google论文 “Bigtable：一个结构化数据的分布式存储系统”。HBase ...
BloomFilter 布隆过滤器思想原理和代码实现
AI天才研究院
12-14 1万+
简介布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。算法思想如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合...
HBase过滤器查询
weixin_43230682的博客
08-22 1624
目录 1、过滤器 2、比较过滤器使用 3、专用过滤器使用 4、多过滤器综合查询FilterList 1、过滤器 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端 过滤器的类型很多，但是可以分为两大类 比较过滤器 专用过滤器 2、比较过滤器使用 HBase过滤器的比较运算符： LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >=
hbase的过滤器查询
weixin_33898876的博客
01-15 184
  hbase的过滤器有很多：大致分为两大类：比较过滤器和专用过滤器，过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端；hbase 过滤器的比较运算符： LESS ----- < LESS_OR_EQUAL ----- <= EQUAL ----- = NOT_EQUAL ----- <> GREATER_OR_EQU...
Hbase的过滤器查询
qichangjian的博客
03-05 325
hbase的过滤器有很多，大致分为两大类：比较过滤器和专用过滤器。 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端； hbase 过滤器的比较运算符： LESS ----- &lt; LESS_OR_EQUAL ----- &lt;= EQUAL ----- = NOT_EQUAL ----...
hbase过滤器查询
hellozhxy的博客
09-13 289
  引言：过滤器的类型很多，但是可以分为两大类 比较过滤器 专用过滤器 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端； hbase过滤器的比较运算符： LESS &lt; LESS_OR_EQUAL &lt;= EQUAL = NOT_EQUAL &lt;&gt; GREATER_OR_EQUAL &gt;= GREATER &gt; NO_OP 排...
【图文详细 】HBase 数据库——产生背景
谦卑t
12-05 901
自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大的数据，任意的格式甚至非结构化的处理。    Hadoop 的限制  Hadoop 只能执行批量处理，并且...
Linux、hbase、hive、shell、sqoop笔记总结+一键开启关闭脚本
qq_56896306的博客
05-24 682
Linux笔记 pwd——————查看当前目录 cd——————切换目录 ls——————查看当前目录下的目录及文件 ls-l或ll——————长格式查看当前文件 ls-a——————查看当前隐藏文件 ls-R——————查看当前目录以及旗下的子目录 ls-h——————显示文件大小单位 stst——————显示文件或文件系统的详细信息 cat——————查看文件内容 cat-n——————查看文件并显示行号 cat-A——————相当于-vET选项的整合，用于列出所有隐藏符号 more或less—
图文详解 DBMS 数据库管理系统三层架构体系（三级模式）《ClickHouse 实战：企业级大数据分析引擎》...
AI天才研究院
12-07 1万+
引文计算机科学领域的所有问题，都可以通过添加一层中间层来解决。通过在用户和计算机中间添加一层逻辑层（概念模型层），于是就有了“数据库的三级模式”：数据库在三个级别 (层次)上进行抽象，使用...
Hadoop学习四十二：HBase 过滤器
08-06
NULL 博文链接：https://zy19982004.iteye.com/blog/2088173
HBase过滤器实现表复杂查询
Jamson
01-06 1568
HBase过滤器实现表复杂查询 一、引入maven依赖 &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt; &lt;artifactId&gt;hbase-client&lt;/artifactId&gt...
Hbase过滤查询
Vicky_ZWH的博客
07-14 2438
Hbase数据库过滤查询
【Hbase】hbase过滤查询
人生所向，皆是美好
02-22 1009
文章目录引言hbase 过滤器的比较运算符hbase 过滤器的比较器（指定比较机制）hbase 过滤器分类比较过滤器专用过滤器 引言 过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器 过滤器的作用： 是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端 hbase 过滤器的比较运算符 LESS < LESS_OR_EQUAL <= EQUAL = NOT_E...
Hbase Shell Filter 过滤
jast
09-21 3197
Get 和 Scan 操作都可以使用过滤器来设置输出的范围，类似于 SQL 里面的 Where 查询条件。使用 show_filters 命令可以查看当前 HBase 支持的 过滤器类型。 show_filters 使用过滤器的语法格式： scan '表名',{Filter => ”过滤器(比较运算符,’比较器’)”} 解释：Filter=>指明过滤的方法,整体可用大括号引用,也可以不用大括 号。过滤的方法使用双引号引用,而比较方式用小括号引用。 行键过滤器: 1.Row.
HBase 过滤器
hujieliang123的博客
03-02 4043
HBase过滤器、比较器
hbase数据查询及过滤器详细使用
热门推荐
小强签名设计 的博客
06-23 2万+
创建并插入数据： hbase(main):179:0> create 'scores','grade','course' hbase(main):180:0> put 'scores','zhangsan01','course:art','90' hbase(main):181:0> scan 'scores' ROW
Hbase(四) 过滤器查询
mojolang
05-02 853
引言：过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端；一、hbase过滤器的分类   1、比较过滤器      行键过滤器 RowFilterFilter filter1 = new RowFilter(CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes...
hbase 布隆过滤器
最新发布
04-19
### HBase 中布隆过滤器的使用方法与原理 #### 1. 布隆过滤器简介 布隆过滤器是一种高效的空间节省型概率数据结构，主要用于测试一个元素是否属于某集合。它的核心特点是能够在极低的时间复杂度下完成成员关系检测操作，同时占用较少的存储资源[^1]。 #### 2. 布隆过滤器的工作原理 布隆过滤器通过多个哈希函数将待加入集合中的元素映射到固定长度的位数组中。当需要查询某个元素是否存在时，同样利用这些哈希函数计算对应的位位置并检查它们的状态。如果所有对应的位置都被置为1，则认为该元素可能存在于集合中；如果有任意一位未被设置为1，则可以断定该元素一定不存在于集合中[^1]。 ##### 2.1 失误率调节 由于布隆过滤器基于概率工作，因此存在一定的假阳性率（即错误地判定某些不属于集合的元素为“可能存在”）。这种失误的概率可以通过调整以下几个参数来控制： - **位数组大小**：更大的位数组能降低失误率。 - **哈希函数数量**：更多的独立哈希函数有助于提高准确性，但也增加了计算成本。 - **插入元素的数量**：随着更多元素被添加至布隆过滤器，其失误率会逐渐上升。 #### 3. HBase 中布隆过滤器的作用 HBase 是一种分布式列族数据库，在处理大规模数据集时面临诸多挑战之一便是快速定位目标记录所在的具体物理位置。传统方式依赖块索引来实现这一功能，然而这种方法可能导致大量无意义的数据块加载，进而影响整体性能[^3]。 引入布隆过滤器后，可以在不显著增加额外开销的前提下有效缓解上述问题。具体来说，每当创建一个新的 StoreFile (也称为 HFile)，都会为其附加一块元数据区域——MetaBlock 来保存当前文件所关联的所有键值对经过特定算法压缩后的摘要信息。这样做的目的是为了使得后续执行 Get 请求时能够迅速排除那些不可能包含所需条目的候选对象，从而大幅削减实际访问次数以及相应消耗的 I/O 资源[^2]。 以下是几个重要方面： ##### 3.1 存储位置 如前所述，布隆过滤器本身作为 MetaBlock 的一部分嵌入到了每一个单独生成出来的 HFiles 当中去，并且同其他常规 DataBlocks 共享统一缓存管理策略 LRUCache[]^2]^. ##### 3.2 开启配置 要在 HBase 表定义阶段启用此特性非常简便只需指定相应的选项即可如下所示: ```xml <columnFamily name="cf1" bloomType="ROW|ROWCOL"/> ``` 这里提供了两种模式可供选择分别是 ROW 和 ROWCOL 它们分别代表只针对行健或者连同行内限定字段共同参与构建过程最终形成更精确但同时也更加耗费代价的结果形式[^4]. ##### 3.3 数据获取流程变化 一旦激活了这项技术之后每次发起 GET 查询请求之前系统便会先调用本地已有的副本尝试匹配成功则继续向下推进否则直接跳过整个环节避免浪费时间精力去做徒劳功耗动作[^3]. --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值