Hbase预分区

最新推荐文章于 2022-11-22 18:53:16 发布

转载最新推荐文章于 2022-11-22 18:53:16 发布 · 132 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/alexzhang92/p/10941000.html

本文深入探讨HBase预分区的重要性和实现方法，包括手动指定、16进制算法生成、基于文件规则及Java API创建预分区，旨在提高数据读写效率、负载均衡并优化Map数量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HBase的预分区

1、为何要预分区？

增加数据读写效率
负载均衡，防止数据倾斜
方便集群容灾调度region
优化Map数量

2、如何预分区？

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。

3、如何设定预分区？

3.1、手动指定预分区

create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']

完成后如图：

3.2、使用16进制算法生成预分区

create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

完成后如图：

3.3、分区规则创建于文件中

创建splits.txt文件内容如下：

aaaa
bbbb
cccc
dddd

然后执行：

create 'table2','partition2',SPLITS_FILE => 'splits.txt'

成功后如图：

3.4、使用JavaAPI创建预分区

Java代码如下：

//自定义算法，产生一系列Hash散列值存储在二维数组中

byte[][] splitKeys = 某个散列值函数

//创建HBaseAdmin实例

HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());

//创建HTableDescriptor实例

HTableDescriptor tableDesc = new HTableDescriptor(tableName);

//通过HTableDescriptor实例和散列值二维数组创建带有预分区的HBase表

hAdmin.createTable(tableDesc, splitKeys);

转载于:https://www.cnblogs.com/alexzhang92/p/10941000.html