SunTecTec

在 jar 包所在 lib 或者 lib/plugins 目录下执行，grep -r，

在 docker exec -it container-name /bin/bash 容器中或者 Linux 环境变量中，使用先执行添加临时环境变量。：Flink SQL Client - Paimon 创建 Minio S3 Storage Catalog，报错环境变量异常。

在编写 docker flink sql client from sql server to paimon minio S3 storage 的 flink sql 中，任务的 sink 端一直无法创建 paimon 以 minio S3 存储的 catalog，重复检查 sql s3 中 key、bucket、grant、export key environment value 多次报出相同错误 Forbiden 403，可抵达 minio 但被拒绝访问。

解决： 如果要在本地用IDE（比如IntelliJ IDEA或Eclipse）调试Table API&SQL程序，则还需要加入如下依赖 -问题：Flink 本地运行 Table Api & SQL 报错。

操作：启动 Flink standalone cluster 后，接着启动 Flink SQL Client，则通过 Flink SQL Client 提交 insert & select job 到该 8081 cluster。需求：使用 Flink CDC 测试 SQL Server 连接 Paimon。Flink SQL Client 执行案例 -

No maximum LSN recorded in the database 这个问题伴随在 Caused by: org.apache.flink.table.api.ValidationException: SqlServer database poc_db do not enable cdc. 之后。：Flink CDC 读取 SQL Server ，需要先准备好 SQL Server enable Database CDC & enable Table CDC。指定的文件组必须已存在。

Flink 1.20.1 在配置 config.yaml 中 jobmanager、taskmanager、rest 的 ip 地址后，依次启动 standalone session cluster & bin/sql-client 后，出现要么 Flink WebUI 端显示 & Flink SQL Client 连接Connection拒绝、Gate网管 Exception，或者要么出现 Flink SQL Client 运行正常 & Flink WebUI 8081 无法连接。

由于第一个 snapshot for checkpoint 就无法写入 file:/tmp/paimon，所以 docker flink insert into 流/批作业都无法执行。当使用 Paimon官方提供的 Flink SQL Client 提交测试时，无法执行 insert into paimon 持续报错 -Docker Container 无法直接使用 Paimon Connector 写到 Linux local file path。

Tips: docker flink application mode 当任务完成或者jobmanager cancel，则taskmanager会因为flink集群机制继续保留监听等待jobmanager发送任务命令，当超过大约6 mins，taskmanager便会自动exited退出。

Web UI 仅在 Job 运行期间短暂可用（任务结束后容器退出）。，如果看到 Flink Dashboard 表示成功。，即可看到 Flink Dashboard。：无持久化 Web UI，适合一次性任务。：提供 Web UI，适合长期运行的集群。，这样 Flink 会以常驻服务运行。，任务完成后容器会退出（尤其是加了。不适合生产环境，仅建议调试使用。检查防火墙/安全组是否放行。

注意时间戳 10位 和 13位 的区别，一个是秒时间戳，一个是毫秒时间戳。

format=raw：flinksql中kafka临时表结构参数，不需要列出字段名对应埋点json的key名，而是将kafka消息直接当做k,v类型的string存储。format=json：flinksql中的kafka临时表结构参数，需要列出所有需要的字段名，对应埋点json中的key名。

参考：Apache Doris使用Stream Load方式insert数据_stream load doris-优快云博客

Flink CDC连接器的主要目的是从关系型数据库中的binlog（二进制日志）中捕获变更事件，并将这些事件作为数据流传递给Flink应用程序进行处理。Catalog是数据库管理系统（DBMS）中用于存储元数据信息的组件，它包含了数据库对象（如表、视图、函数等）的定义和描述。通常情况下，Flink CDC连接器并不直接操作Catalog数据，而是通过解析binlog来捕获对数据库对象的变更。然而，一些特定的CDC实现或特殊的配置可能会考虑到对Catalog数据的变更进行捕获和处理。

source使用 flink-sql-connector- 胖包，sink使用 jdbc mysql-connector-java 包。使用 flink-sql-connector- 胖包即可，去掉 flink-connector- 相关瘦包，解决胖瘦包冲突。

Doris要预先建表，而MySQLCDC 整库到 MySQL 则会自动建表。

Paimon做 ods层、dw层。

参考：Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台_dinky dolphinscheduler flink-优快云博客

【代码】Dinky FlinkSQL Doris读取写入。

【代码】Flink run 自动化运行任务shell脚本。

依赖冲突是指项目依赖的某一个jar包，有多个不同的版本，因而造成类包版本冲突。

原因：初步判断是由于flinkcdc不同开发团队使用的flink-cdc-pipeline-connector-doris-3.1.0.jar包内是基于判断flink-1.17.0/conf/config.yaml的flink conf文件而导致，而实际上1.17版本的flink conf/下只有flink-conf.yaml配置文件，在参考原配置手动添加config.yaml文件后仍然无效。

解决：将 flink/conf/flink-conf.yaml 里的 bind ip 都改成 0.0.0.0。

1、9999端口未占用。

参考：NoteWarehouse/05_BigData/09_Flink(1).md at main · FGL12321/NoteWarehouse · GitHubFlink系列 9. 介绍 Flink 窗口触发器、移除器和延迟数据等 | hnbianhttps://github.com/kinoxyz1/bigdata-learning-notes/blob/master/note/flink/Window%26%E6%97%B6%E9%97%B4%E8%AF%AD%E4%B9%89%E5%92%8C

config.yaml: jobmanager address 统一使用 dev001，bind-port 统一改成 0.0.0.0，taskmanager address 分别更改为dev所在host。flink 1.19起 conf/flink-conf.yaml 更改为新的 conf/config.yaml。standalone集群: dev001、dev002、dev003。

bin/flink-cdc.sh 会用到 linux的系统环境变量（vim /etc/profile配置），使用环境变量 FLINK_HOME。问题：flink lib 加入 mysql-connect-java.jar 否则flink任务会无法连接sink端，报错Exception。解决：flink lib 安装完成后，引入 mysql-connect-java.jar ，配置如下。4、查看 flinkcdc log：同步任务提交成功。

匹配到二进制文件 lib/mysql-connector-java-8.0.27.jar。匹配到二进制文件 lib/flink-cdc-dist-3.1.0.jar。grep -r 遍历包括子文件内容和 jar包的类。

【代码】Flink CDC 3.1.0 pipeline 多表合一 yaml。

parallelism不能多与slot个数，否则任务不断重启，报错无法获取必要的最小资源：

问题：In that case, you can try to increase pekko.ask.timeout.根据错误提示，可以尝试增加Flink的RPC超时时间。注意这里的配置名可能随着Flink版本的不同有所变动，具体配置项请查阅Flink 1.18版本的官方文档。解决：增加RPC超时时间。

解决：部分分布式节点缺少 paimon-flink.jar，导致 taskexecutor 无法执行sink。

需要注意的是，依赖于幂等性sink来达到exactly-once语义的应用程序，必须保证在从检查点恢复以后，它将会覆盖之前已经写入的结果。同时，从Flink程序sink到的key-value存储中读取数据的应用，在Flink从检查点恢复的过程中，可能会看到不想看到的结果。例如，重复的向hashmap中插入同样的key-value对就是幂等操作，因为头一次插入操作之后所有的插入操作都不会改变这个hashmap，因为hashmap已经包含这个key-value对了。

flinkcdc 需要引入：source端：sink端：

可以使用这两个Pojo示例：

问题2：ClassNotFoundException: com.fasterxml.jackson.annotation.JsonMerge。缺少 jar 包：jackson-annotations。问题1：java: 错误: 不支持发行版本 5。修改idea java环境。

自定义Jackson2序列化反序列化，参考：Jackson序列化时实现任意类型自定义转换_jackson 自定义转换-优快云博客

为了避免出现连接超时中断错误。