StarRocks流式加载事务接口深度解析

马品向

于 2025-06-04 09:06:29 发布

阅读量232

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00179/article/details/148416577

StarRocks流式加载事务接口深度解析

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

概述

StarRocks作为一款高性能的分析型数据库，其数据加载能力一直是核心优势之一。从2.4版本开始，StarRocks引入了流式加载(Stream Load)事务接口，这是一个重要的功能增强，特别适合与Apache Flink、Apache Kafka等流处理系统集成，实现高效、可靠的数据导入。

核心概念

两阶段提交(2PC)机制

流式加载事务接口基于经典的两阶段提交协议实现：

准备阶段：通过/api/transaction/prepare接口预提交事务，数据被持久化但未对外可见
提交阶段：通过/api/transaction/commit接口正式提交事务，数据对外可见

这种机制确保了即使在系统故障的情况下，也能保证数据的一致性。

事务生命周期管理

接口提供了完整的事务管理能力：

开始事务：/api/transaction/begin
写入数据：/api/transaction/load
预提交：/api/transaction/prepare
提交：/api/transaction/commit
回滚：/api/transaction/rollback

核心优势

精确一次语义(Exactly-once)

通过标签机制和两阶段提交，确保数据不会重复导入也不会丢失，特别适合与流处理系统集成。

性能优化

批量提交：可以累积多个微批次数据后一次性提交，减少数据版本数量
减少开销：相比单条提交，大幅降低系统开销

可靠性保障

超时管理：支持配置事务超时和空闲超时
故障恢复：预提交后即使系统崩溃，恢复后仍可完成提交

使用指南

准备工作

权限检查：确保用户有目标表的INSERT权限
网络配置：确认客户端能访问FE的http_port(默认8030)和BE的be_http_port(默认8040)

典型流程示例

1. 创建测试表

CREATE TABLE `table1` (
    `id` int(11) NOT NULL COMMENT "用户ID",
    `name` varchar(65533) NULL COMMENT "用户名",
    `score` int(11) NOT NULL COMMENT "用户分数"
) ENGINE=OLAP
PRIMARY KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10;

2. 准备CSV数据文件

示例文件example1.csv内容：

1,Lily,23
2,Rose,23
3,Alice,24
4,Julia,25

3. 完整事务流程

# 1. 开始事务
curl --location-trusted -u <用户名>:<密码> -H "label:txn_label_001" \
    -H "db:test_db" -H "table:table1" \
    -XPOST http://<FE主机>:<FE端口>/api/transaction/begin

# 2. 加载数据(可多次调用)
curl --location-trusted -u <用户名>:<密码> -H "label:txn_label_001" \
    -H "db:test_db" -H "table:table1" \
    -T /path/to/example1.csv \
    -H "column_separator:," \
    -XPUT http://<FE主机>:<FE端口>/api/transaction/load

# 3. 预提交
curl --location-trusted -u <用户名>:<密码> -H "label:txn_label_001" \
    -H "db:test_db" \
    -XPOST http://<FE主机>:<FE端口>/api/transaction/prepare

# 4. 提交
curl --location-trusted -u <用户名>:<密码> -H "label:txn_label_001" \
    -H "db:test_db" \
    -XPOST http://<FE主机>:<FE端口>/api/transaction/commit