m0_66705151的博客

一篇文章告诉你hudi同步数据出现NoSuchMethodError（Types$PrimitiveBuilder.as）怎样修复

运行flink作业时，出现同名类强转异常ClassCastException，这到底是怎么回事呢？应该怎么解决？阅读这篇文章，我们一起寻找答案。

一篇文章告诉你如何修复Hudi0.11编译：HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器。

一篇文章教会你如何使用hudi的hive sync tool及如何避免已知的hive sync tool的坑。

最近尝试在sparksql上对hudi表进行insert数据，会报java.lang.NoSuchMethodError: org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V异常。如果只是进行简单的create table, 然后进行select查询是没有问题的。但如果是create table test_cow using hudi as select * from source_cw这样的语句，由

一篇文章记录FlinkSQL常用命令。

一篇文章告诉你，使用FlinkCDC写入Hudi完成数据入湖会遇到什么坑。

一文告诉你如何在FlinkSQL中实现一个作业多路输出。

一篇文章带你全面了解FlinkSql中两种kafka connector，掌握其应用特征与适用场景，轻松应于生产服务与数据入湖。

在生产环境中，mysql一般会配备主从库，以实现数据备份、服务容灾、读写分离等需要。使用FlinkCdc进行mysql数据入湖时，就不可避免地要和主从库打交道。FlinkCDC对mysql主从库的切换支撑到什么程度、数据库需要怎么配置、同步程序要怎么配合操作和开发，是FlinkCDC投入生产应用前必验项目。本文记录了使用FlinkCDC进行Mysql主从数据同步的主要验证过程，以为后鉴。

在Hudi与Spark整合的过程中，会有不少坑。本文记录Hudi与Spark整合过程中发现的坑点及其解决方案。

一、背景FlinkCDC是基于Flink开发的变化数据获取组件（Change data capture），目前支持mysql、PostgreSQL、mongoDB、TiDB、Oracle等数据库的同步。Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通Hadoop、hive，支持对数据record粒度的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。本文尝试使用FlinkCDC同步Mysql数据，通