什么时候才应该使用HBase？

何时使用HBase：数据量与系统设计考量
最新推荐文章于 2025-04-17 14:37:47 发布
原创 最新推荐文章于 2025-04-17 14:37:47 发布 · 3.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #数据库 #jdbc #工作 #服务器 #集群

本文探讨了何时适合使用HBase作为数据存储解决方案，包括数据规模要求、系统架构兼容性及硬件资源考量。重点在于理解HBase在处理大量数据时的优势与局限。

什么时候才应该使用HBase？

张贵宾

guibin.beijing@gmail.com


在使用HBase一定要明白HBase的适用场合，因为HBase并非适用于每种情况。

首先，要确认有足够多的数据存入HBase。

如果有几亿或者几十亿条记录要存入HBase，那么HBase就是一个正确的选择；否则如果你仅有几百万条甚至更少的数据，那么HBase当然不是正确的选择，这种情况下应当选择传统的关系型数据库，因为如果这么少的数据存入HBase，就会导致数据堆积在一两个节点上，而HBase集群内部的其他节点都处于空闲状态。


其次，要确认即便不使用传统关系型数据库提供的额外功能（比如数据库的列有强类型限制，secondary index，transaction，SQL等高级查询语言）系统也能顺畅工作。

基于传统关系型数据上的应用不能通过简单的更换JDBC驱动程序"迁移"到HBase。系统从普通的关系型数据库迁移到HBase将导致整个系统的重新设计。


最后，确认有足够的硬件服务器来支撑HBase的运行。

即便单独运行HDFS，HDFS在少于5个节点的情况下工作不理想，由于在默认情况下HDFS的block replication factor为3，另外还要加上一个Namenode。


参考资料：http://hbase.apache.org/book.html#arch.overview




Hbase shell命令的使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 3930
本实验任务主要完成基于ubuntu环境掌握Hbase shell命令的使用的工作。通过完成本实验任务，要求学生熟练掌握Hbase shell命令的使用的方法，为后续实验的开展奠定Hbase平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase shell命令的使用Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Zookeeper3.4.5、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库，该技术来
什么时候用HBase
杨春建的博客
09-19 1229
本文内容摘自官网：http://redis.io 63.2. When Should I Use HBase? HBase isn’t suitable for every problem. First, make sure you have enough data. If you have hundreds of millions or billions of ro
什么情况下使用hbase
844604778
08-26 580
说明： 1.数据查询模式已经确定，且不易改变，就是说hbase使用在某种种特定的情况下，且不能变动。 2.告诉插入，大量读取。因为分布式系统对大量数据的存取更具优势。 3.尽量少的有数据修改。因为hbase中的数据修改知识在后面添加一行新数据，表示覆盖前一条，大量修改浪费大量空间。（hbase基于hdfs存储不支持修改） 以淘宝网为例： 淘宝网有一项最近浏览商品的功能，用传统的关...
什么情况下使用HBase
DataFlow范式
09-20 2846
成熟的数据分析主题，查询模式已经确立并且不轻易改变 传统的关系型数据库已经无法承受负荷，高速插入，大量读取 适合海量的，但同时也是简单的操作（例如value-key）   场景一：浏览历史 关系数据库的困难：   简单的事情只要上了量就会变得无比复杂的事情     Orderby耗费很多性能     大量发生，但又无法分布式处理     顾客需要实时看到自己的足迹，因此不能
HBase与传统数据库的区别：为什么选择它来处理大数据？
Kenneth55的专栏
02-22 1573
你有没有遇到过这样的情况：你的公司业务发展迅速，数据量呈指数级增长，传统的数据库系统（如MySQL）开始显得力不从心。同样地，在处理大规模数据时，HBase的优势就显现出来了。某知名互联网公司的数据库专家表示，“虽然HBase的学习曲线较陡，但一旦掌握了其核心原理，你会发现它是一个非常强大的工具。在这个数据爆炸的时代，HBase以其独特的架构和强大的功能，成为了许多企业处理海量数据的首选工具。例如，在电商促销期间，用户数量和订单数量迅速增加，传统的数据库系统可能会崩溃，而HBase可以轻松应对这些挑战。
hbase常识及habse适合什么场景
02-25
本文来自于csdn,当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，请看下文如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个...
Hbase是什么？
weixin_43576422的博客
08-09 1642
HBase 是一个开源的、分布式、版本化、高可靠、高性能、面向列、可伸缩的NoSQL 数据库（也即非关系型数据库），它利用 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）提供分布式数据存储。 与传统的关系型数据库类似，HBase 也以表的形式组织数据，表也由行和列组成；不同的是，HBase 有列族的概念，它将一列或者多列组织在一起，HBase 的每一个列都必须属于某个列族。但HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另
使用datax通过HbaseShell封装writer和reader同步hbase数据到hbase_踩坑_细节总结---大数据之DataX工作笔记008
添柴程序猿的专栏
04-17 1456
可以看到,phoenix添加的表,对应的rowkey就是主键的值,然后所有的列都放到了0这个列族中,然后_0这个0列族中的列,就是主键,值value。对应的,原来表中的rowkey是无法同步过来的,这个是datax提供的hbase的,不带sql的,也就是使用原生java的hbase客户端。可以看到最后面,core部分,要自己补充上,要不然报错,然后,一定要注意,datax-web,生成的json,index都是从1开始的,
什么场景下用Hbase
潇洒子弦
07-11 1779
Hbase适用于存储不太复杂但数据很大的数据。列如商城系统中：用户，商品，订单，店铺，卖家，这些数据关系复杂不适合用Hbase。这里面订单数据量很大，而且要频繁拿出来计算，可以考虑只将订单这项存入Hbase。其他方面： 1，数据量达到上亿以上时可以使用Hbase如果只有上千或上百万行，则用传统的RDBMS。 2，不依赖所有RDBMS的额外特性(列数据类型, 第二索引, 事物,高级查询语言等.)
那么问题来了：我们为什么要选择 Hbase？
weixin_34351321的博客
06-08 735
Apache HBase是一个高性能、面向列、可伸缩的开源分布式NoSQL数据库，基于google三大论文中的《Bigtable：一个分布式的结构化数据存储系统》，它是Google Bigtable的开源实现。Google Bigtable中文版下载链接 用户使用它能够在廉价的PC server上搭建大规模的结构化存储集群；因为Hbase是构建在hado...
HBase介绍及使用
Even710的博客
01-30 702
文章目录Apache HBase简介HBase架构HBase读取数据流程HBase安装部署Hbase Shell命令基本命令表操作 Apache HBase简介 Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。 当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。A...
一文读懂 HBase 主要特性与使用场景
Focus on Lakehouse
05-07 851
NoSQL必须要在一致性、可用性与分区容错性之间做出取舍，例如HBase就是牺牲了部分可用性换取了完全的一致性。我们该如何选择HBase？
HBase应用场景和最佳实践
climbs的专栏
05-21 5215
HBase 作为 Apache 基金会的 Hadoop 项目的一部分，将 HDFS 作为文件存储系统，使用 MapReduce 进行分布式的数据批量处理（非实时数据批量处理）、利用Zookeeper提供协同管理服务，为 Hadoop 提供海量数据管理服务，因此，HBase也是在一个服务器集群上运行的。
HBase基本知识和应用场景
伟庭的博客
11-30 2945
HBase基本知识和应用场景
Hbase简介（基础介绍 一）
weixin_64261178的博客
07-16 1064
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库"NoSQL"是一个通用词表示数据库不是RDBMS ，后者支持 SQL 作为主要访问手段。有许多种 NoSQL 数据库: BerkeleyDB 是本地 NoSQL 数据库例子, 而 HBase 是大型分布式数据库。技术上来说, HBase 更像是"数据存储(Data Store)" 多于 "数据库(Data Base)"。因为缺少很多RDBMS特性, 如列类型，第二索引，触发器，高级查询语言等。
Hbase总结（五）-hbase常识及habse适合什么场景
热门推荐
Java海洋
10-08 6万+
当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个严重影响了质量。并且如果面对大数据库，pt级别的数据，这种浪费更是严重的，那么我们该使用是什么数据库？hbase数个不错的选择，那么我们对于hbase还存在下列问题： 1.Column Family代表什么？
hbase中的compation过程发生在什么时候
最新发布
08-28
<think>嗯，用户这次想了解HBase中compaction过程的触发时机。从对话历史看，用户之前讨论过PostgreSQL的架构，现在转向HBase的底层机制，可能是大数据开发或运维人员，需要深入理解存储系统的内部原理。 用户提供的引用材料非常专业，涵盖了HBase Compaction的参数、策略和类型。看来用户已经做过初步调研，现在需要系统性的触发条件总结。尤其值得注意的是引用[1][3][5]都提到了自动触发和手动触发的区别，这应该是回答的重点。 从技术角度看，compaction触发机制需要分三个层面解释：首先是自动触发的常规条件（如memstore刷新、文件数量阈值），其次是基于时间的策略（特别是major compaction的周期调度），最后是特殊场景的手动触发。引用[5]提到禁用自动major compaction的实践，说明用户可能关心生产环境调优。 需要特别注意数学表达式的格式要求。虽然compaction相关公式不多，但引用[4]提到的split策略公式（$Min(R^2 \times \text{flush.size}, \text{max.filesize})$）需要正确处理。另外用户引用的参数名如hbase.server.thread.wakefrequency要保持原样。 用户可能隐含的深层需求是如何平衡compaction的资源消耗与系统性能。因此回答中除了罗列触发条件，还要强调不同触发方式的应用场景，比如为什么要在低峰期手动触发major compaction（引用[5]）。最后生成的问题要引导用户思考实践层面的优化。</think>HBase 中的 Compaction 过程在以下情况会被触发： --- ### 一、自动触发 #### 1. **MemStore 刷新后** - 当 **MemStore 刷写（Flush）** 生成新的 HFile 后，系统会检查当前 Store 中的 HFile 数量是否超过阈值： $$ \text{HFile数量} > \text{hbase.hstore.compactionThreshold} \, (\text{默认值 3}) $$ 若超过阈值，则触发 **Minor Compaction**[^1][^2][^3]。 #### 2. **周期性检查** - **后台线程** 定期扫描 Store 中的 HFile 文件，检查是否满足合并条件： - 检查周期由参数 `hbase.server.compactchecker.interval.multiplier`（默认 1000）和 `hbase.server.thread.wakefrequency`（默认 10 秒）共同决定[^1]。 - 适用于 **长时间无写入的 Region**，防止因未触发 Flush 而遗漏 Compaction[^1]。 #### 3. **基于时间的 Major Compaction** - 默认每 7 天（`hbase.hregion.majorcompaction=604800000ms`）尝试触发一次 **Major Compaction**。 - 实际触发时间会加入抖动（`hbase.hregion.majorcompaction.jitter=0.5`），使时间窗口在 **3.5~10.5 天** 内随机分布[^1][^5]。 - **注意**：生产环境常禁用此机制（设为 `0`），改为手动触发以避免高峰期的资源消耗[^5]。 --- ### 二、手动触发 #### 1. **通过 HBase Shell 或 API 触发** - 执行命令触发特定 Region 或表的 Compaction： ```bash # Minor Compaction hbase> compact 'table_name' # Major Compaction hbase> major_compact 'table_name' ``` - **典型场景**： - 低峰期执行 Major Compaction 清理过期数据，避免自动触发影响业务[^1][^5]。 - 执行 `ALTER` 操作（如修改列族属性）后立即生效[^1]。 - 磁盘空间不足时强制清理标记删除的数据[^1][^3]。 #### 2. **管理策略驱动** - 管理员根据监控指标（如 HFile 数量激增、查询延迟上升）主动触发[^5]。 --- ### 三、HFile 数量与大小策略 #### 1. **文件数量阈值** - 若 Store 中 HFile 数量超过 `hbase.hstore.compaction.max`（默认 10），即使未达到其他条件，也会触发 Minor Compaction[^2][^3]。 #### 2. **文件大小限制** - 参与 Compaction 的 HFile 需满足： $$ \text{文件大小} \leq \text{hbase.hstore.compaction.max.size} \, (\text{默认 2GB}) $$ 过大的文件会被排除，避免产生巨额 I/O 开销[^2][^3]。 --- ### 四、策略选择的影响 - **RatioBasedCompactionPolicy**：早期默认策略，按文件大小比例选择合并集合[^2]。 - **ExploringCompactionPolicy**（当前主流）：遍历所有可能的 HFile 组合，选择 **最优合并路径**（如最小化 I/O 或最大化数据清理）[^2]。 --- ### 总结：触发条件对比 | **触发类型** | **条件** | **Compaction 类型** | |--------------------|--------------------------------------------------------------------------|---------------------| | **MemStore 刷新** | HFile 数量 > `hbase.hstore.compactionThreshold` (默认 3) | Minor | | **周期性检查** | 后台线程扫描 + 文件数量/大小符合策略 | Minor/Major | | **时间调度** | 达到 `hbase.hregion.majorcompaction` 周期（默认 7 天） | Major | | **手动命令** | 通过 Shell 或 API 执行 `compact`/`major_compact` | Minor/Major | | **文件数量超限** | Store 内 HFile > `hbase.hstore.compaction.max` (默认 10) | Minor | ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值