基于Flink CDC datastream mysql to mysql 序列化sql 数据同步

最新推荐文章于 2024-10-17 21:05:46 发布

原创

最新推荐文章于 2024-10-17 21:05:46 发布 · 3.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #flink #sql #flinkcdc #datastream

基于Flink CDC datastream mysql to mysql 序列化sql 数据同步

Flink CDC有两种方式同步数据库：

1. 一种是通过FlinkSQL直接输入两表数据库映射进行数据同步，缺点是只能单表进行同步；
2. 一种是通过DataStream开发一个maven项目，打成jar包上传到服务器运行，可以多表多库。

本方案使用DataStream方法，同步两表中的数据。
不需要部署Flink，可单独使用。

主要工作

工程下载连接，点击进入

运行简单，只需要配置源数据库与目标数据库信息，运行MysqlCDC文件中的main函数即可使用。
修复了mysql数据时区问题、修复了deatatime同步到数据库报错问题
使用分为以下三步:

一、修改源数据库信息

在这里插入图片描述

二、修改目标数据库信息

在这里插入图片描述

三、启动服务

在这里插入图片描述
主要源码:

package org.apache.flink;

import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;
import org.jvnet.hk2.annotations.Service;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.Statement;

/**
 * @author dake
 */
@Service
public class MysqlSink extends RichSinkFunction<String> {
    private Connection connection = null;
    Statement sqlExecute;



    @Override