如何通过ETL把StarRocks中的数据同步到数仓

在数据驱动决策的时代,企业对于数据处理和分析的需求日益增加。ETL作为数据处理的核心环节,扮演着将原始数据转化为有价值信息的关键角色。而StarRocks作为一款极速全场景MPP(Massively Parallel Processing)企业级数据库产品,凭借其创新的架构设计与卓越的性能表现,正成为企业实现高效数据处理与实时分析的优选方案。那如何通过ETL工具把StarRocks中的数据同步到数仓呢?接下来我们通过实操演示下过程。

一、StarRocks数据同步到Doris演示

新建数据源创建StarRocks源数据库:

进入数据源管理选择新建数据源,在数据源中找到StarRocks进行创建。

图片 1

填写StarRocks相关配置

图片 2

图片 3

新建数据源创建Doris源数据库:

Doris数据源创建步骤和上述相同

图片 6

新建流程

图片 5

新建流程,在流程中配置库表输入组件和doris输出组件,没有组件的需要前往官网购买。库表输入用于读取StarRocks数据,Doris输出用于往Doris中同步数据。

图片 7

配置库表输入组件,只需选择刚才创建的数据源和数据源中表。当前表中有30万条数据。

图片 1

选中表后会默认生成查询语句,也可以更具需要更改语句。后续的输入字段也会自动识别。

图片 2

图片 3

配置Doris快速输出组件,同样的Doris选择数据源和目标表。

图片 4

图片 7

同时使用了自动建表功能在目标端Doris数据库中自动创建表。

图片 5

在路由线中开启5个并发线程优化同步速度

图片 9

执行流程并查看结果

图片 10

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值