第2.9章:StarRocks表设计--Colocation Join

本文介绍了StarRocks的Colocation Join特性,用于优化分布式集群中的表连接操作。通过创建Colocation Group并确保相同组内的表具有相同的分桶键、副本数和分布策略,可以避免跨节点的数据传输,从而提升查询效率。文章提到了创建、修改和管理Colocation Group的方法,以及使用Colocation Join需要注意的事项,如副本一致性、稳定性检查和副本均衡控制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在分布式集群中,每张表的数据都会分散在集群多个节点上,所以当我们进行join时避免不了节点间数据网络传输带来额外的延迟和其他开销。为了加速查询,StarRocks设计了Colocation Join。

在Colocation Join中,StarRocks引入了Colocation Group(CG)和Colocation Group Schema(CGS)的概念,CGS是指CG的分桶键,分桶数以及副本数等信息。Colocation Join实现的核心就是将同一个Colocation Group中的表采用一致的CGS也即使用一致的分桶键(字段数量、顺序及字段类型一致即可,名称不需要一致)、一致的副本数量和一致副本放置方式,进而保证这些Table对应的分桶副本会落在相同一组BE节点上。这样如果join列为分桶键,则计算节点只需做本地join,而无需从其他节点获取数据,进而实现大表join的加速。

在表设计文档中,我们先不细述Colocation Join的原理和实现,仅简单说明一下使用方式。创建表

table12:

CREATE TABLE table12(

k1 int,

v1 int sum

)

DISTRIBUTED BY HASH(k1) BUCKETS 8

PROPERTIES(

"colocate_with" = "group1",

"replication_num" = "1"

);
 

 

在建表时,我们在PROPERTIES中指定属性"colocate_with

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值