Flink cdc debug调试动态变更表结构

最新推荐文章于 2025-01-06 16:11:00 发布

原创

最新推荐文章于 2025-01-06 16:11:00 发布 · 3.9k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #debug #调试 #cdc

本文详细描述了FlinkCDC3.0动态变更表结构过程中遇到的问题，如缺失jar包引发的异常、JsonFactory异常和版本不匹配的NoSuchMethodError，以及如何进行代码拉取、本地打包、配置启动参数、日志设置和问题排查。

文章目录

前言
调试流程
问题
结尾

前言

接着上一篇Flink cdc3.0动态变更表结构——源码解析，cdc debug部分官方没有特别说明，尝试踩了一些坑，这里记录下。

调试流程

1. 拉取代码本地打包

通过 github 拉取3.0.0 以上版本，本地maven打包 mvn clean package -DskipTests

2. 配置启动参数

搜索启动类CliFrontend，修改运行配置。
在这里插入图片描述
需要配置环境变量FLINK_HOME， pipeline connector依赖包，flink-dist 包，以及指定配置文件，--use-mini-cluster true 代表使用 local 集群。

mysql-to-doris.yaml

################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:
  type: mysql
  hostname: localhost
  port: 3306
  username: root
  password: 123456
  tables: app_db.\.*
  server-id: 5400-5404
  server-time-zone: UTC

sink:
  type: doris
  fenodes: 127.0.0.1:8030
  username: root
  password: ""
  table.create.properties.light_schema_change: true
  table.create.properties.replication_num: 1