HBase预分区のUniformSplit

最新推荐文章于 2024-05-09 21:12:15 发布

原创

最新推荐文章于 2024-05-09 21:12:15 发布 · 5.5k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了HBase中适用于随机查询的预分区策略——UniformSplit。该策略通过在rowkey前添加经过hashCode计算并比特位反转的值来实现。使用Bytes工具类可以帮助处理rowkey的改造，以确保数据均匀分布，提高查询效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果某个hbase的表查询只是以随机查询为主，可以用UniformSplit的方式进行，它是按照原始byte值（从0x00~0xFF）右边以00填充。以这种方式分区的表在插入的时候需要对rowkey进行一个技巧性的改造，比如原来的rowkey为rawStr，则需要对其取hashCode，然后进行按照比特位反转后放在最初rowkey串的前面。可以充分利用Bytes这个工具类来做。

public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "hadoop1");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        HConnection connection = HConnectionManager.createConnection(conf);
        HTableInterface table = connection.getTable("huanggang");
        for (int i=1; i< 6553500; i++) {
            byte[] rowKey = Bytes.add(Bytes.toBytes(Integer.reverse(Integer.valueOf(Integer.valueOf(i).hashCode()))), Bytes.toBytes(i));
            System.out.println(rowKey);
            Put put = new Put(rowKey);
            put.add("f".getBytes(), "col1".getBytes(), Bytes.toBytes(