Apache Doris Routine Load快速体验之案例（2）

环境信息

硬件信息

1. CPU ：4C
2. CPU型号：ARM64
3. 内存 ：10GB
4. 硬盘 ：66GB SSD

软件信息

1. VM镜像版本 ：CentOS-7
2. Apahce Doris版本 ：1.2.4.1
3. Kafka版本：3.2.0

Routine Load介绍

Routine Load适合Kafka直接实时写数据到Doris的场景；它支持用户提交一个常驻的导入任务，通过不断地从指定的数据源中读取数据，将数据导入到 Doris 中。

如上图，Client 向 FE 提交一个Routine Load 作业。

1. FE 通过 JobScheduler 将一个导入作业拆分成若干个 Task。每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。
2. 在 BE 上，一个 Task 被视为一个普通的导入任务，通过 Stream Load 的导入机制进行导入。导入完成后，向 FE 汇报。
3. FE 中的 JobScheduler 根据汇报结果，继续生成后续新的 Task，或者对失败的 Task 进行重试。
4. 整个 Routine Load 作业通过不断的产生新的 Task，来完成数据不间断的导入。

Routine Load案例

创建Doris结果测试表

-- 创建测试库
create database routine_load;

-- 切换为测试库
use routine_load;

-- 创建测试结果表
CREATE TABLE rl_test01 (
  `id` varchar(1000) NULL COMMENT "来源库表键"