第2.4章 StarRocks表设计——分区分桶与副本数

直接基于离散的各个取值做数据分布，例如性别，省份等数据就满足这种离散的特性（离散：取值是有限的），每个离散值会映射到一个节点上，多个不同的取值可能也映射到相同节点上。适用场景：按照枚举值来查询和管理数据，比如经常按照国家和城市来查询和管理数据，则可以使用该方式，选择分区列为 city。

1.2.4 Hash

通过哈希函数把数据映射到不同节点上。

总结：可以根据具体的业务场景需求组合使用这些数据分布方式，常见的组合方式有 Hash+Hash、Range+Hash、Hash+List。

1.3 StarRocks的数据分布方式

StarRocks支持两层的数据划分。第一层是Partition分区，支持Range、List或者不分区（不分区代表全表只有一个分区）。第二层是 Bucket分桶（Tablet），StarRocks-2.5.4版本分桶方式只有Hash哈希分桶。StarRocks常见的两种数据分布方式如下：

1.3.1 不分区+ Hash分桶

概述：一张表只有一个分区，分区按照分桶键和分桶数量进一步进行数据划分，分桶规则： Hash算法（分桶键）% 分桶数

建表语句：

#不分区+ Hash分桶，分桶键为site_id
CREATE TABLE site_access(
    site_id INT DEFAULT '10',
    city_code SMALLINT,
    user_name VARCHAR(32) DEFAULT '',
    pv BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY(site_id, city_code, user_name)
DISTRIBUTED BY HASH(site_id) BUCKETS 10;

1.3.2 Range分区+Hash分桶

概述：一张表拆分成多个分区，每个分区按照分桶键和分桶数量进一步进行数据划分，分桶规则： Hash算法（分桶键）% 分桶数

建表语句：

#分区键为partition_no，分桶键为cbhtbm：
create table test.ods_cbht (
      cbhtbm                string               comment "",
      fbfbm                 string               comment "",
      cbfbm                 string               comment "",
      cbfs                  string               comment "",
      cbqxq                 datetime             comment "",
      cbqxz                 datetime             comment "",
      partition_no          bigint               comment ""
) engine=olap
duplicate key(cbhtbm)
comment ""
partition  by   range(partition_no) (
start("110000")  end ("160000")  every (10000),
start("210000")  end ("240000")  every (10000),
start("310000")  end ("380000")  every (10000),
start("410000")  end ("470000")  every (10000),
start("500000")  end ("550000")  every (10000),
start("610000")  end ("660000")  every (10000),
start("710000")  end ("720000")  every (10000),
start("810000")  end ("830000")  every (10000)
)
distributed by hash(cbhtbm) buckets 8
properties (
"replication_num" = "3",
"in_memory" = "false",
"storage_format" = "default"
);