Doris存储层设计介绍2——数据写入及删除流程

目录

一、概述

1.1 存储结构的整体介绍

1.2 名词解释

1.2.1 FE

1.2.2 BE

1.2.3 Tablet

1.2.4 Rowset

1.2.5 Version

1.2.6 Segment

1.2.7 Compaction   

二、写入流程

2.1 数据分发流程

2.2 DeltaWriter 与 Memtable

2.3 物理写入

2.3.1 RowsetWriter 各个模块设计

2.3.2 RowsetWriter写入流程

2.4 Rowset 发布

三、删除流程

一、概述

1.1 存储结构的整体介绍

    Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决近实时的报表统计和多维分析。Doris高效导入、查询离不开其存储结构的设计。通过阅读Doris BE模块代码，分析Doris BE模块存储层的实现原理，主要包括Doris列存的设计、索引设计、数据读写流程、Compaction流程、Tablet数据分片和Rowset版本管理等功能。通过三篇文章来逐步进行阐述，分别为：
Doris存储层设计介绍1——存储结构设计解析（索引底层结构）-优快云博客文章浏览阅读1.1k次，点赞33次，收藏19次。Doris存储层设计介绍1——存储结构设计解析（索引底层结构）https://blog.youkuaiyun.com/SHWAITME/article/details/136155008?spm=1001.2014.3001.5502

Doris存储层设计介绍2——数据写入及删除流程-优快云博客文章浏览阅读2次。Doris存储层设计介绍2——数据写入及删除流程https://blog.youkuaiyun.com/SHWAITME/article/details/136156144?spm=1001.2014.3001.5502

Doris存储层设计介绍3——读取流程、Compaction流程分析-优快云博客文章浏览阅读2次。Doris存储层设计介绍3——读取流程、Compaction流程分析https://blog.youkuaiyun.com/SHWAITME/article/details/136223060?spm=1001.2014.3001.5501

   本文章介绍了Doris数据写入及数据删除的实现流程。

1.2 名词解释

1.2.1 FE

   StarRocks的前端节点。

  存储方面：

（1）FE（Frontend）负责存储、维护集群的元数据信息。

FE的主要职责是存储和管理四类数据

• 用户数据信息：包括数据库、表的Schema和分片信息等。

• 各类作业信息：例如导入作业、克隆作业和SchemaChange作业等。

• 用户和权限信息。

• 集群和节点信息。

 查询方面： 

（1）FE负责接收、解析查询请求，规划查询计划，调度查询执行，并返回查询结果。

• FE接收用户的查询请求，进行词法解析、语法解析和语义解析。

• 根据解析结果，生成逻辑执行计划和物理执行计划。

• FE根据物理执行计划将查询任务分发给对应的BE节点上执行，并协调各个BE节点之间数据交换和计算。

• FE收集BE节点返回的查询结果，并返回给用户。

1.2.2 BE

   StarRocks的后端节点。

   存储方面：

（1）BE（Backend）负责存储物理数据。

• StarRocks使用最小的逻辑单元为tablet，最小的物理单元为rowset。

  <