m0_66705151的博客

文章记录Flink CDC使用过程中的常见问题，以供开发者参考。内容持续更新中。

手把手教你导出flink运行指标，完成prometheus+grafana监控集成。

使用FlinkCDAS同步mysql数据到starrocks，报org.apache.flink.table.api.TableException: Failed to deserialize the input record，究竟是怎么回事？

一篇文章告诉你hudi同步数据出现NoSuchMethodError（Types$PrimitiveBuilder.as）怎样修复

运行flink作业时，出现同名类强转异常ClassCastException，这到底是怎么回事呢？应该怎么解决？阅读这篇文章，我们一起寻找答案。

一篇文章教会你如何使用hudi的hive sync tool及如何避免已知的hive sync tool的坑。

一篇文章记录FlinkSQL常用命令。

一篇文章告诉你，使用FlinkCDC写入Hudi完成数据入湖会遇到什么坑。

一文告诉你如何在FlinkSQL中实现一个作业多路输出。

一篇文章带你全面了解FlinkSql中两种kafka connector，掌握其应用特征与适用场景，轻松应于生产服务与数据入湖。

在生产环境中，mysql一般会配备主从库，以实现数据备份、服务容灾、读写分离等需要。使用FlinkCdc进行mysql数据入湖时，就不可避免地要和主从库打交道。FlinkCDC对mysql主从库的切换支撑到什么程度、数据库需要怎么配置、同步程序要怎么配合操作和开发，是FlinkCDC投入生产应用前必验项目。本文记录了使用FlinkCDC进行Mysql主从数据同步的主要验证过程，以为后鉴。

一、背景FlinkCDC是基于Flink开发的变化数据获取组件（Change data capture），目前支持mysql、PostgreSQL、mongoDB、TiDB、Oracle等数据库的同步。Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通Hadoop、hive，支持对数据record粒度的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。本文尝试使用FlinkCDC同步Mysql数据，通