Flink CDC 实战：MySQL 到 StarRocks 的实时数据同步-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00534/article/details/148508835

Flink CDC 实战：MySQL 到 StarRocks 的实时数据同步

flink-cdc-connectors CDC Connectors for Apache Flink® 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc-connectors

前言

在现代数据架构中，实时数据同步已成为企业数据集成的重要需求。本文将详细介绍如何使用 Flink CDC 连接器实现 MySQL 到 StarRocks 的实时数据同步。这种方案特别适合需要构建实时数仓、实时数据分析的场景。

技术背景

Flink CDC 是基于 Apache Flink 构建的变更数据捕获(CDC)工具，它能够高效地捕获数据库变更并实时同步到下游系统。StarRocks 是一款高性能的分析型数据库，与 MySQL 的实时同步可以充分发挥其分析能力。

环境准备

基础环境搭建

Flink 集群部署
- 下载 Flink 1.18.0 版本并解压
- 配置 checkpoint 间隔为 3 秒
- 启动 Flink 集群
Docker 环境准备
- 创建包含 MySQL 和 StarRocks 的 docker-compose 文件
- MySQL 容器预装示例数据库
- StarRocks 容器提供数据存储服务

数据初始化

在 MySQL 中创建示例数据库和表结构：

CREATE DATABASE app_db;
USE app_db;

-- 订单表
CREATE TABLE `orders` (
  `id` INT NOT NULL,
  `price` DECIMAL(10,2) NOT NULL,
  PRIMARY KEY (`id`)
);

-- 产品表
CREATE TABLE `products` (
  `id` INT NOT NULL,
  `product` VARCHAR(255) NOT NULL,
  PRIMARY KEY (`id`)
);

-- 物流表
CREATE TABLE `shipments` (
  `id` INT NOT NULL,
  `city` VARCHAR(255) NOT NULL,
  PRIMARY KEY (`id`)
);

同步任务配置

核心配置文件解析

创建 mysql-to-starrocks.yaml 配置文件：

source:
  type: mysql
  hostname: localhost
  port: 3306
  username: root
  password: 123456
  tables: app_db.\.*
  server-id: 5400-5404
  server-time-zone: UTC

sink:
  type: starrocks
  jdbc-url: jdbc:mysql://127.0.0.1:9030
  load-url: 127.0.0.1:8080
  username: root
  password: ""
  table.create.properties.replication_num: 1

pipeline:
  name: Sync MySQL Database to StarRocks
  parallelism: 2

关键配置说明：

Source 配置
- tables: 使用正则表达式匹配所有表
- server-id: MySQL 复制标识
- server-time-zone: 时区设置
Sink 配置
- replication_num: StarRocks 副本数设置
- load-url: StarRocks FE 的 HTTP 端口
Pipeline 配置
- parallelism: 任务并行度

任务提交

使用 Flink CDC CLI 提交任务：

bash bin/flink-cdc.sh mysql-to-starrocks.yaml \
  --jar lib/mysql-connector-java-8.0.27.jar

高级功能演示

实时同步验证

数据插入

INSERT INTO app_db.orders (id, price) VALUES (3, 100.00);

表结构变更

ALTER TABLE app_db.orders ADD amount varchar(100) NULL;

数据更新

UPDATE app_db.orders SET price=100.00, amount=100.00 WHERE id=1;

数据删除
```
DELETE FROM app_db.orders WHERE id=2;
```

所有变更都会实时反映到 StarRocks 中。

路由与转换

通过路由配置实现表名映射：

route:
  - source-table: app_db.orders
    sink-table: ods_db.ods_orders
  - source-table: app_db.shipments
    sink-table: ods_db.ods_shipments

支持正则表达式匹配多表：

route:
  - source-table: app_db.order\.*
    sink-table: ods_db.ods_orders

性能优化建议

并行度调整
- 根据数据量和服务器资源调整 parallelism 参数
- 建议设置为 CPU 核心数的 1-2 倍
Checkpoint 优化
- 生产环境建议 checkpoint 间隔设为 10-30 秒
- 增大 checkpoint 超时时间
StarRocks 参数优化
- 调整 batch.size 和 max-retries 参数
- 根据网络状况设置合适的连接超时

常见问题排查

同步延迟高
- 检查 Flink 任务背压
- 增加 TaskManager 资源
- 优化网络连接
表结构变更失败
- 确认 StarRocks 版本兼容性
- 检查字段类型映射
数据不一致
- 验证主键约束
- 检查错误日志中的冲突记录

环境清理

完成测试后，按顺序停止服务：

停止 Docker 容器
```
docker-compose down
```
停止 Flink 集群
```
./bin/stop-cluster.sh
```

结语

通过本教程，我们实现了 MySQL 到 StarRocks 的实时数据同步，包括整库同步、表结构变更同步等功能。这种方案具有以下优势：

实时性高：秒级数据延迟
可靠性强：基于 Flink 的 checkpoint 机制保证数据一致性
扩展性好：支持分库分表等复杂场景

在实际生产环境中，可以根据业务需求进一步优化配置参数，实现最佳性能。

flink-cdc-connectors CDC Connectors for Apache Flink® 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc-connectors

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考