南修子学Hbase-Hbase Split流程

最新推荐文章于 2022-10-09 16:13:39 发布
原创 最新推荐文章于 2022-10-09 16:13:39 发布 · 181 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客探讨了HBase在0.94版本前后的Region拆分策略，包括最大文件大小限制和基于内存flush大小的触发条件。0.94之后的策略引入了Region数量的因素，避免了小文件问题。同时，博客建议避免多列族并保持数据增长同步，以及建表时进行预分区来有效管理Region。

0.94版本之前

一个Region里面最大的file大小，如果超过就一分为二

hbase.hregion.max.filesize默认是10G

0.94版本之后

当一个Region中某个Store下面所有的StoreFile的总大小超过Min(R^2 * "hbase.hregion.memstore.flush.size" , "hbase.hregion.max.filesize"),该region就会进行拆分，其中R为当前RegionServer中属于该Table的个数，就是当前这个表的Region数量

 

hbase.hregion.memstore.flush.size会导致小文件问题，比如两个列族的数据增长不均匀，但是这个参数是针对全局的，所以都会进行切分，那么数据比较稀疏的这个就会产生小文件的问题，hbase官方也是建议尽量不要多个列族，如果是多个列族的话要保证多个列族的数据增长保持同步

 

预分区: 建表的时候要预分区，规划好我要建多少个分区，10000-20000,20000-30000,30000-40000

HBase Split流程源码分析
进一步有一步的欢喜
12-20 2127
本文主要分析hbase split的核心流程，HBase split的主要操作在SplitTransactionImpl.java中。 1、所有的split请求被包装成SplitRequest对象，该对象会被放入到队列中，由HRegionServer持有，在HRegionServer中有一个CompactSplitThread对象，所有compact/split相关的线程由该对象管理; 2、进
最新版linux hbase-2.3.3-bin.tar.gz
11-05
Linux上的HBase是Apache Hadoop生态系统中的一个分布式、版本化、基于列族的NoSQL数据库。它设计用于处理海量数据，特别适合实时读写操作。HBase 2.3.3是该软件的一个稳定版本，提供了许多改进和新功能。在本文中，...
hbase region split 源码分析
03-26 673
base region split和compact的了，日志有split时间太长；文件找不到；split的时候response too slow等等，所以先看看hbase region split源码，希望对以后能有帮助   HBase region split源码分析 一、流程概述 1.HBaseAdmin 发起 hbase split 2.HRegionServer 确定分割点 region split point 3.CompactSplitThread和SplitRequest 进行re
Hbase split的过程以及解发条件
weixin_30593261的博客
09-10 261
一、Split触发条件 1、 有任一一个Hfile的大小超过默认值10G时，都会进行split 2、 达到这个值不在拆分，默认为int_max，不进行拆分 3、compaction时，如果compact的store的大小超过了，则进行split 4、flush之前会检测区域中HStoreFile数目是否超过hba...
HBase Split 过程
anhuidelinger的专栏
06-07 6610
看了下hbase split的代码 记录一下学习心得  Java代码   private void split(final HRegion parent, final byte [] midKey)   throws IOException {       final long startTime = System.currentTimeMillis();
hbase-1.2.0-cdh5.14.0.tar.gz
03-14
用户可以通过设置HBase的Compaction和Split策略来优化数据存储和检索效率。此外，还可以利用BlockCache和MemStore来提高读取性能。 12. **监控和管理** CDH提供了一套全面的管理和监控工具，如Cloudera Manager，...
hbase-2.0.0.3.0.0.0-1634-bin.tar.gz
08-21
2. Region管理：HBase的Region是数据分区的基本单位，你可以通过Ambari监控Region分布，进行手动Split或Merge操作。 3. 性能调优：通过调整HBase的配置参数，如MemStore大小、BlockCache设置等，可以优化读写性能。...
hbase-1.2.0-cdh5.12.0.tar.gz
04-24
《HBase 1.2.0在CDH5.12.0中的应用与解析》 HBase，作为Apache Hadoop生态系统中的一个分布式列式数据库，以其强大的实时读写能力和大规模数据存储能力，在大数据处理领域占据重要地位。本文将围绕"Hbase-1.2.0-cdh...
hbase-1.2.9-bin.tar.gz
12-12
在使用HBase时，理解Region Split策略非常重要，因为这直接影响数据分布和查询性能。你可以通过设置Region大小、预分区表以及合理选择行键来优化数据分布。 此外，HBase支持多种查询模式，包括随机读取、范围扫描...
Hbase split的三种方式和split的过程
zhangjiaxx的博客
10-09 2040
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一个region中
HBase region split 过程
sysocc的博客
05-19 876
由于写请求是由regionserver处理的，它们会存储在被称作memstore的内存存储系统中。一旦memstore填满，它的内容就会被写到磁盘上，作为额外的存储文件。这个事件被称为memstore的flush。随着存储文件的累积，regionserver将把它们compact成更少，更大的文件。每次flush或compact完成后，该region内存储的数据量就发生了变化。regionserver咨询region split策略，以确定该region是否增长过大，或者是否应该因另一个特定split po
HBase中Split的详细过程
qq_31795811的博客
12-06 1965
分裂的细节并不简单。当分裂发生时，新创建的“女儿regions”不会将所有的数据立即写入到新文件中。相反，它创建一些与象征性引用文件相似的小文件，称为Reference files，这些文件根据根据切分点指向父store file的头部或者尾部。reference file用起来和普通数据文件没什么区别，但是其中只有一半的记录。region只会在没有引用指向父region不变的数据文件时才会真正的分
hbase region split 过程(翻译)
weixin_34090562的博客
06-26 169
hbase region split 过程(翻译) 由于写请求是由regionserver处理的，它们会存储在被称作memstore的内存存储系统中。一旦memstore填满，它的内容就会被写到磁盘上，作为额外的存储文件。这个事件被称为memstore的flush。随着存储文件的累积，regionserver将把它们compact成更少，更大的...
HBase之Region上Spilt流程分析
happy19870612's blog
11-14 508
HBase之Region上Spilt流程分析
HBase架构、读写流程、rowkey设计、预分区、Region Split
mys_35088的博客
08-21 595
目录 一、HBase 架构 二、Hbase 读写流程 三、StoreFile Compaction 四、Region Split 五、预分区 六、ROWKey设计 一、HBase 架构 HLOG里面有 master、regionserver、wal(预写日志) 当有数据来了之后先查询HMaster 来获取向哪个HRegionserver中插入数据 数据来了之后先向HLog中写，然后写到Mem Store，达到默认64MB之后写入HFile 二、H.
本关任务：在右侧命令行中，导入 sql 文件至 MySQL 中并使用 Sqoop 工具将 MySQL 中的数据导入至 HBase 。 相关知识 为了完成本关任务，你需要掌握： 1.Sqoop 命令与操作 Sqoop 命令 Sqoop 支持 HDFS 和 Hive 之外的其他导入目标。Sqoop 还可以将记录导入到 HBase 中的表中。 参数名称 参数含义 --column-family <family> 设置导入的目标列族 --hbase-create-table 如果指定，则创建缺少的 HBase 表 --hbase-row-key <col> 指定要用作行键的输入列，如果输入表包含复合键，则 <col> 必须采用单个的形式，逗号分隔的组合键列表属性 --hbase-table <table-name> 指定要用作目标的 HBase 表名而不是 HDFS --hbase-bulkload 启用批量加载 通过指定--hbase-table，您指示 Sqoop 导入到 HBase 中的表而不是 HDFS 中的目录。Sqoop 会将数据导入到指定为 的参数的表中--hbase-table。输入表的每一行都会转化为一个HBase Put操作到输出表的一行。每行的键取自输入的一列。默认情况下，Sqoop 将使用 split-by 列作为行键列。如果未指定，它将尝试识别源表的主键列（如果有）。您可以使用 手动指定行键列--hbase-row-key。每个输出列都将放置在同一个列族中，必须用--column-family. 如果输入表有复合键，则--hbase-row-key必须采用逗号分隔的复合键属性列表的形式。在这种情况下，HBase 行的行键将通过使用下划线作为分隔符组合复合键属性的值来生成。注意：只有--hbase-row-key在指定了参数的情况下，Sqoop 导入表才能使用复合键。 如果目标表和列族不存在，则 Sqoop 作业将退出并显示错误。您应该在运行导入之前创建目标表和列族。如果指定--hbase-create-table，Sqoop 将使用 HBase 配置中的默认参数创建目标表和列族（如果它们不存在）。 Sqoop 当前通过将每个字段转换为其字符串表示形式（就像您以文本模式导入到 HDFS 一样）将所有值序列化到 HBase，然后在目标单元格中插入此字符串的 UTF-8 字节。Sqoop 将跳过除行键列之外的所有列中包含空值的所有行。 为了减少 hbase 上的负载，Sqoop 可以进行批量加载而不是直接写入。要使用批量加载，请使用--hbase-bulkload。 MySQL 导入至 HBase MySQL 中有一张 student 表，表数据如下： 1.进入 HBase 客户端，创建一个列族 为 info表名为 student 的表。 create 'student','info' 2.使用 Sqoop 将 MySQL 数据导入 HBase 表 student 中。 sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://127.0.0.1/test --username root --password 123123 --table student --hbase-table student --column-family info --hbase-row-key stu_no -m 1 成功执行后，显示。 3.查询 HBase 表 student 是否成功导入数据； 数据已经成功导入至 HBase 中了。总结： 1.导入至 HBase 中时，最好是先在 HBase 中创建好表，否则导入时会报 HBase 找不到表。 2.导入命令中加上 Map Task 数目（-m），可以更好、更快的执行程序。 编程要求 根据相关知识，在右侧命令行中完成 MySQL 数据成功导入至 HBase 中，具体操作如下： 1.启动服务 启动 Hadoop、MySQL、ZooKeeper、HBase服务，命令已经写在 sh 文件中了，执行 shell 脚本启动所有服务； sh /data/workspace/myshixun/service.sh 如果服务全部启动，输入jsp 查看服务进程 2.将 MySQL 数据导入至 HBase 表中 导入 SQL 至 MySQL 中 mysql -uroot -p123123 < /data/workspace/myshixun/step1/1.sql 进入 HBase 客户端创建表 tb_class 列族为 info。 使用 Sqoop 将 MySQL 中 sc
最新发布
11-07
以下是在命令行中完成将 MySQL 数据导入至 HBase 的详细操作方法： ### 启动服务 - **启动 Hadoop**：通常 Hadoop 启动需要启动 NameNode、DataNode、ResourceManager 和 NodeManager 等服务。在 Hadoop 安装目录下...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值