【全网最详细教程】本地应用集成通过yaml文件远程提交Flink CDC任务来了!

        作为一个数据民工,最常做的一件事就是数据ETL,最关键的一件事就是从某个地方同步数据到某个地方,现在方案很多,有Datax,Seatunnel,Flink CDC,在这些优秀的开源项目中,Flink CDC是最受欢迎的一种实时数据同步方案,并且完全依赖于binlog日志来实现,降低了对库查询抽取的那种压力,对业务的影响做到了无感知,这个方案也是近年来很多中大型互联网公司最青睐的。

        随着Flink CDC的发展,现在开始出现了可以通过编写yaml提示文本来提交任务实现数据的同步,这无疑是让不懂Flink,不会写代码的同学的福音,但是因为Flink CDC社区目前提供的方案还是需要在命令行去提交相关的脚本才能实现,我们如果说公司有一个应用可以直接让不懂代码的同学通过简单的编写yaml文件来实现提交任务,那就真的太棒了!

        下面就让我浅浅的全方面的教大家一下全网最干的干货,最干的最全的教程!欢迎大家访问扫描如下内容点赞收藏加关注哦~

1、环境准备

工具名 版本
jdk 17
flink 1.19.2
docker v28.0.1
flink-cdc 3.3.0

1.1、安装带有开启binlog日志的mysql

本地找一个目录,新建docker目录,在新建docker-compose.yml文件

docker-compose.yml的内容如下:

services:
  mysql:
    image: debezium/example-mysql:2.7.2.Final
    platform: linux/arm64
    container_name: mysql_binlog
    ports:
      - "3306:3306"
    environment:
      MYSQL_USER: "mysql"
      MYSQL_PASSWORD: "password"
      MYSQL_ROOT_PASSWORD: "123456"
      character-set-server: "utf8"
      collation-server: "utf8_general_ci"
      TZ: "Asia/Shanghai"
    privileged: true

在当前目录执行安装命令

docker-compose up -d

安装完可以在docker的containers菜单点开后看到如下的内容

可以登陆进去确认下kafka的binlog日志是否有开启,执行 selec * from user;

查看 log_bin 是否是ON,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值