Apache Flink CDC 在 Kubernetes 上的部署指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00268/article/details/148488004

Apache Flink CDC 在 Kubernetes 上的部署指南

flink-cdc Flink CDC is a streaming data integration tool 项目地址: https://gitcode.com/gh_mirrors/flin/flink-cdc

前言

Apache Flink CDC 作为实时数据集成的重要工具，能够高效捕获数据库变更事件。本文将详细介绍如何在 Kubernetes 集群上部署 Flink CDC 解决方案，帮助开发者构建稳定可靠的实时数据管道。

Kubernetes 环境准备

在开始部署前，请确保您的 Kubernetes 环境满足以下要求：

集群版本：Kubernetes 1.9 或更高版本
权限配置：
- 具备操作 Pod 和 Service 的权限（创建、删除、列表等）
- 可通过 kubectl auth can-i 命令验证权限
网络要求：
- 已启用 Kubernetes DNS 服务
- 默认服务账号配置了适当的 RBAC 权限

会话模式部署方案

1. 获取 Flink 发行版

首先需要获取 Flink 的二进制发行版，建议选择与 Flink CDC 兼容的版本。解压后设置环境变量：

export FLINK_HOME=/path/to/flink-<version>

2. 启动会话集群

使用 Flink 提供的脚本启动 Kubernetes 会话集群：

$FLINK_HOME/bin/kubernetes-session.sh \
  -Dkubernetes.cluster-id=flink-cdc-cluster

启动成功后，控制台将输出 JobManager 的 Web 接口地址。注意以下几点：

默认使用 ClusterIP 类型服务，外部无法直接访问
需要为 Web UI 和 REST 端点配置适当的访问方式

3. 配置访问参数

在 flink-conf.yaml 中添加以下配置：

rest.bind-port: 8081  # 根据实际端口修改
rest.address: <节点IP>  # 替换为实际节点IP

Flink CDC 环境配置

1. 获取 Flink CDC 发行版

下载并解压 Flink CDC 发行包：

tar -xzf flink-cdc-<version>.tar.gz

目录结构说明：

bin/：包含执行脚本
lib/：存放连接器 JAR 文件
conf/：配置文件目录
log/：日志文件

2. 添加连接器依赖

根据数据源类型下载对应的连接器 JAR 文件，如 MySQL、PostgreSQL 等，放置到 lib/ 目录下。

任务提交与运行

1. 准备配置文件

创建数据同步任务的 YAML 配置文件，例如 mysql-to-doris.yaml：

source:
  type: mysql
  hostname: mysql-host
  port: 3306
  username: user
  password: password
  tables: db\.*
  server-id: 5400-5404

sink:
  type: doris
  fenodes: doris-fe:8030
  username: doris-user
  password: ""

pipeline:
  name: MySQL to Doris Sync
  parallelism: 4