StarRocks Stream Load 事务接口深度解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00301/article/details/148416611

StarRocks Stream Load 事务接口深度解析

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

概述

StarRocks 作为一款高性能的分析型数据库，提供了多种数据加载方式。其中 Stream Load 是一种基于 HTTP 协议的同步导入方式，特别适合小批量数据的高效导入。在 2.4 版本之后，StarRocks 进一步增强了 Stream Load 功能，引入了事务接口，实现了两阶段提交(2PC)机制，大幅提升了高并发流式加载的性能和可靠性。

核心特性

事务管理机制

Stream Load 事务接口提供了一套完整的事务操作API：

事务开始 (/api/transaction/begin)
- 初始化一个新事务
- 需要指定唯一的事务标签(label)
数据写入 (/api/transaction/load)
- 支持在单个事务内多次调用
- 每次写入可以追加数据
预提交 (/api/transaction/prepare)
- 将事务状态标记为"准备提交"
- 确保数据已持久化但未对外可见
正式提交 (/api/transaction/commit)
- 完成事务提交
- 使数据对外可见
回滚 (/api/transaction/rollback)
- 中止当前事务
- 丢弃所有已写入数据

关键技术优势

严格一次语义(Exactly-Once)
- 通过两阶段提交机制确保数据不重复、不丢失
- 特别适合与Flink等流处理系统集成
高性能批量导入
- 支持在单个事务内合并多个小批量数据
- 减少数据版本数量，提升导入效率
完善的错误处理
- 自动超时管理
- 事务状态跟踪
- 明确的错误返回信息

使用实践

准备工作

权限配置
- 确保用户具有目标表的INSERT权限
- 如需覆盖写入，需要额外DELETE权限
网络配置
- 确认客户端可以访问FE的http_port(默认8030)
- 确认可以访问BE的be_http_port(默认8040)
数据准备
- 支持CSV和JSON格式
- 单个文件建议不超过10GB

典型工作流程

sequenceDiagram
    participant Client
    participant StarRocks
    Client->>StarRocks: 1. 开始事务(BEGIN)
    StarRocks-->>Client: 返回事务ID
    loop 数据写入
        Client->>StarRocks: 2. 写入数据(LOAD)
        StarRocks-->>Client: 返回写入结果
    end
    Client->>StarRocks: 3. 预提交(PREPARE)
    StarRocks-->>Client: 预提交结果
    Client->>StarRocks: 4. 正式提交(COMMIT)
    StarRocks-->>Client: 提交结果

代码示例

以下是一个完整的CSV数据导入示例：

创建目标表

CREATE TABLE `user_scores` (
    `id` int(11) NOT NULL COMMENT "用户ID",
    `name` varchar(65533) NULL COMMENT "用户名",
    `score` int(11) NOT NULL COMMENT "用户分数"
) ENGINE=OLAP
PRIMARY KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10;

事务操作

# 1. 开始事务
curl --location-trusted -u user:pass -H "label:txn_20230501" \
    -H "db:test_db" -H "table:user_scores" \
    -XPOST http://fe_host:8030/api/transaction/begin

# 2. 写入数据(CSV格式)
curl --location-trusted -u user:pass -H "label:txn_20230501" \
    -T /data/user_scores.csv \
    -H "column_separator:," \
    -XPUT http://fe_host:8030/api/transaction/load

# 3. 预提交
curl --location-trusted -u user:pass -H "label:txn_20230501" \
    -XPOST http://fe_host:8030/api/transaction/prepare

# 4. 正式提交
curl --location-trusted -u user:pass -H "label:txn_20230501" \
    -XPOST http://fe_host:8030/api/transaction/commit