StarRocks 技术内幕 | 多表物化视图的设计与实现

原创

于 2022-11-15 13:30:07 发布 · 1.8k 阅读

CC 4.0 BY-SA版权

文章标签：

本文探讨了StarRocks数据库2.4版本的物化视图改进，包括同步与异步刷新解决方案，设计原则，多表异步物化视图的实现原理，以及2.5版本的展望。重点介绍了如何解决复杂SQL加速、分区管理和性能优化等问题。

作者：StarRocks Committer 李雪岩，国双科技技术架构师、StarRocks Active Contributor 龚磊（本文为作者在 StarRocks Summit Asia 2022 上的分享）

本文先介绍物化视图的一些需求分析，看看现在的物化视图哪些地方做得好、哪些地方做得不好，然后再针对这些需求进行设计。然后再讲一下具体的实现原理，最后再讲一下 StarRocks 2.5 版本的物化视图还会开发哪些功能。

1、什么是物化视图

要了解物化视图可以先了解视图的概念。视图是一个虚拟表(也可以认为是一条语句)，基于它创建时指定的查询语句返回的结果集。而物化视图则是将这个虚拟表进行实体化，其本身可以理解为是一个特殊的表。

2、物化视图的应用场景

物化视图最常见的场景是，由基础的 Base 表通过创建物化视图的 SQL 生成物化视图，当用户查询相似的 SQL 时，查询优化器可以自动 QueryRewrite 复用物化视图，从而达到查询加速的效果。

在 2.4 之前，我们仅支持的是单表同步的物化视图，但它缺乏一些复杂场景的支持，例如只能支持一些简单的 SQL。

对于一个实时的场景，比如用户有两张实时表进行 Join 操作，由于单表同步物化视图不支持多表 Join 操作，这种场景就无法支持了。

对于离线多表加速建模的场景，通常需要事实表和维度表的 Join 的操作。这里面有两方面的需求，一方面是加速的需求，希望我们在查这些 Base 表时通过 QueryRewrite 加速查询；另一方面是建模的需求，希望物化视图能够屏蔽后面的事实表和维度表，也就是说希望物化视图可以直接进行查询。

还有一类场景，这类场景虽然也可以支持，但是支持得不是很好，就是当物化视图的计算结果比较少的时候，希望分区分桶比较少，这样查询性能才会比较好。之前同步的模型，物化视图与 Base 表是一对一的关系，可能就会出现创建物化视图虽然结果很少，但是分区分桶很多，反而出现查询性能下降的现象。

根据这些场景和问题，接下来我们看看可以怎么去解决这些问题。