Hbase 表预分区----手动分区

最新推荐文章于 2025-03-19 09:53:48 发布

cyclebozhou

最新推荐文章于 2025-03-19 09:53:48 发布

阅读量3.6k

点赞数 1

分类专栏： hbase

本文链接：https://blog.youkuaiyun.com/qq_40359681/article/details/79550900

版权

hbase 专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何通过预分区来优化HBase表的批量写入速度，包括命令方式和API方式的具体操作步骤，以及预分区的优势和注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。
命令方式:
create ‘t1’, ‘f1’, {NUMREGIONS => 15, SPLITALGO => ‘HexStringSplit’}
也可以使用api的方式:
bin/hbase org.apache.hadoop.hbase.util.RegionSplitter test_table HexStringSplit -c 10 -f info
参数：
test_table是表名
HexStringSplit 是split 方式
-c 是分10个region
-f 是family

 这样就可以将表预先分为15个区，减少数据达到storefile 大小的时候自动分区的时间消耗，并且还有以一个优势，就是合理设计rowkey 能让各个region 的并发请求平均分配(趋于均匀) 使IO 效率达到最高，但是预分区需要将filesize 设置一个较大的值，设置哪个参数呢, hbase.hregion.max.filesize 这个值默认是10G 也就是说单个region 默认大小是10G,
 这个参数的默认值在0.90 到0.92到0.94.3各版本的变化：256M--1G--10G 
 但是如果MapReduce Input类型为TableInputFormat 使用hbase作为输入的时候，就要注意了，每个region一个map，如果数据小于10G 那只会启用一个map 造成很大的资源浪费，这时候可以考虑适当调小该参数的值，或者采用预分配region的方式，并将检测如果达到这个值，再手动分配region。