第3.4章：StarRocks数据导入——Routine Load

原创 已于 2024-04-18 09:50:12 修改 · 2.5k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #sql

于 2024-02-20 16:52:08 首次发布
本文详细介绍了StarRocks3.2版本的RoutineLoad功能，一个支持Exactly-Once语义的常驻导入机制，通过Kafka消费数据并保证数据完整性。文章覆盖了流程、原理、注意事项和应用案例，展示了如何使用RoutineLoad实现数据无缝导入。

注：本篇文章阐述的是StarRocks-3.2版本的Routine Load导入机制

一、概述

     Routine Load（例行导入）支持用户提交一个常驻的导入任务，可以将消息流存储在 Kafka 的Topic中，通过订阅Topic 中的全部或部分分区的消息，从而实现数据不间断的导入至 StarRocks。（Routine Load任务是常驻进程）

     Routine Load 支持 Exactly-Once 语义，能够保证数据不丢不重。支持从Kakfa集群中消费 CSV、JSON、Avro (自 v3.0.1) 格式的数据。

    官网文档地址：

使用 Routine Load 导入数据 | StarRocks

CREATE ROUTINE LOAD | StarRocks

    总结：通过在数据库侧建立常驻消费者进程来拉取位于流系统上的数据，该消费者进程会按照定义好的消费逻辑和间隔，攒批数据之后调用stream load导入机制来实现数据导入。

二、Routine Load原理

2.1 流程图

    Routine Load的导入执行流程如下：

最低0.47元/天 解锁文章
【Starrocks 异常解决】-- [routine load] error when primary key size exceed the limit
欢迎来到我的博客，一起探索代码里的世界！
07-10 284
摘要：创建StarRocks主键表时遇到"primary key size exceed the limit"错误，原因是主键默认最大长度为128字节。解决方案包括：1)检查表结构，确保主键列符合要求（数值/字符串/日期类型）；2)修改BE节点配置文件be.conf，调整primary_key_limit_size参数值。注意主键需包含分区和分桶列，创建后不可修改且值不能更新。通过调整参数限制可解决主键长度超限问题。（139字）
02-StarRocks数据导入导出FAQ
欢迎来到我的博客，一起探索代码里的世界！
06-24 592
本文档涵盖了StarRocks数据导入导出过程中的常见问题和解决方案。在实际使用过程中，建议根据具体的数据量和业务需求选择合适的导入导出方式，并进行相应的性能优化。如果遇到其他问题，可以参考官方文档或向社区寻求帮助。
第3.0章：StarRocks数据导入——总览
爱吃辣条的博客
02-18 1790
第3.0章：StarRocks数据导入——总览
深入理解 StarRocks：新一代 OLAP MPP 架构、存储引擎、列式存储、向量化执行与数据湖一体化分析
最新发布
wo_893569268的博客
11-14 896
StarRocks 诞生于百度海量数据分析的场景，最初旨在解决交互式分析的性能瓶颈。它通过提供高性能、高并发、支持复杂查询和实时分析等特性，满足了用户快速数据探索和分析的需求。StarRocks 拥有活跃的社区和商业版，并与大数据生态系统中的其他组件良好集成，正在成为新一代大数据分析的重要选择。
Flink——读取Kafka数据处理后存入StarRocks
Ti__iT的博客
03-07 4360
授权方式登录 登录华为FusionInsight Manager下载flinkuser用户的授权文件user.keytab、krb5.conf 准备LoginUtil工具类 登录代码如下： //login String userPrincipal = "flinkuser"; String userKeytabPath = System.getProperty("user.dir") + File.separator + "conf"+File.separator+"user...
Starrocks数据导入方式
zxf126126的博客
08-13 1011
FE收到作业请求之后，会分配给每个任务消费kakfa的分区每个任务会把任务封装成 Stream Load ，选择一台BE作为Coordinator，Coordinator从kafka拉取足够的数据，分拣之后发送到ExecuteBE上 完成数据导入然后再把执行结果一步步往上汇报kafka数据导入作业，已导入的数据的offset 是保存在SR端的。
第3.3章：StarRocks数据导入--Routine Load
热门推荐
流木的博客
02-10 1万+
Routine Load（例行导入）是StarRocks自带的一种可以从Kafka中持续不断的导入数据的方式，我们可以方便的在StarRocks中通过SQL来控制导入任务的暂停、继续及停止。 关于Routine Load，StarRocks官方文档描述的非常详细，这里仅结合自己的一些实践和理解简单再梳理一下。官网相关文档地址：...
StarRocks大批量数据导入方案-使用 Routine Load 导入数据
啊哈的博客
10-16 1113
主要是安装StarRocks和Kafka，本文直接跳过不做详细介绍~
第3.3章：StarRocks数据导入——Stream Load
爱吃辣条的博客
02-20 2909
第3.3章：StarRocks数据导入--Stream Load
第2.4章：StarRocks表设计--分区分桶与副本数
wr_java的博客
03-31 3948
StarRocks采用Range-Hash的组合数据分布方式，也就是我们一直在提的分区分桶方式。
StarRocks项目中的Routine Load数据加载详解
gitblog_00404的博客
06-04 572
StarRocks项目中的Routine Load数据加载详解 【免费下载链接】starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 ...
使用StarRocks内置工具Routine Load同步Mysql/TiDB/PG等增量更新数据到StarRocks
gongxiucheng的专栏
04-26 6130
什么是StarRocks？ StarRocks是新一代极速统一的olap新型mpp分析型数据库，全面向量化引擎，全新的CBO优化器，性能强悍，单表查询媲美业界最强悍的clickhouse，支持多表join，支持数据秒级更新； 且同时支持高并发，架构简单，方便运维扩展，完全国产，安全可控，在国内外各行各业已经得到了广泛使用。 StarRocks提供了丰富的数据接入方式：stream load，routine load，broker load，spark load等，对接比如本地文件，对象存储，hdfs，
Apache Doris 系列： 基础篇-Routine Load
修破立生
09-17 2422
Routine Load 支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式，从 Kakfa 导入 CSV 或 Json 格式的数据。接下来通过一个案例介绍 Routine Load 的使用。部署单节点Kafka准备测试数据并导入kafka导入数据到 Doris。
StarRocks数据导入
docsz的博客
09-27 1624
StarRocks数据导入
StarRocks从入门到精通系列五：导入数据
zhengzaifeidelushang的博客
11-16 1568
StarRocks从入门到精通系列五：导入数据
最全StarRocks数据导入(2)
2401_84185145的博客
05-04 999
使用Flink JDBC方式读取MySQL数据的实时场景不多，因为JDBC下Flink只能获取执行命令时MySQL表的数据，所以更适合离线场景。还使用MySQL 中的s_user表和StarRocks的s_user表，将业务流程反转一下，读取StarRocks中的数据写入其他业务库，例如MySQL。在CDC场景下，Flink SQL执行后同步任务将会持续进行，当MySQL中数据出现变化，Flink会快速感知，并将变化同步至StarRocks中。
Doris系列13-数据导入之Routine Load
只是甲的博客
01-11 1951
文章目录一. Routine Load 概述二. Kafka 例行导入2.1 创建例行导入任务2.1.1 columns_mapping2.1.2 where_predicates2.1.3 desired_concurrent_number2.1.4 max_batch_interval/max_batch_rows/max_batch_size2.1.5 max_error_number2.1.6 data_source_properties2.1.7 strict_mode2.1.8 merge_ty
【免费下载】 StarRocks Routine Load 导入深度解析与常见问题解决方案
gitblog_00605的博客
06-04 669
Routine Load 是 StarRocks 提供的一种持续数据导入方式，特别适合从 Kafka 等消息队列系统持续导入数据到 StarRocks 集群。本文将深入分析 Routine Load 的工作原理，并针对实际使用中的常见问题提供专业解决方案。 ## 性能优化策略 ### 提升并行度 **原理分析**： Routine Load 的实际任务并行度由以下四个因素共同决定，取其中的最...
StarRocks Routine Load 数据导入技术详解
gitblog_00424的博客
06-04 500
StarRocks Routine Load 数据导入技术详解 【免费下载链接】starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 ...
starrock Routine Load 导入json格式数据
06-05
Routine Load 允许 StarRocks 从 Kafka 等消息队列中自动化导入数据，特别适合实时数据流。它支持多种数据格式，包括 JSON。通过指定相关参数，您可以处理复杂的 JSON 结构，如嵌套数组或嵌套对象。在导入 JSON 时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值