FlinkCDC菜鸟教程/演示 Mysql基于Flink CDC 导入 Kafka

半部论语

于 2023-09-13 10:00:00 发布

阅读量714

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/RodJohnsonDoctor/article/details/132731312

Flink CDC 菜鸟教程专栏收录该内容

25 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客介绍了如何使用Flink CDC将MySQL数据库中的数据实时同步到Kafka。首先，通过Docker Compose启动MySQL和Kafka环境，接着在MySQL中创建并填充数据。然后，在Flink集群上运行SQL CLI，设置checkpoint并创建对应MySQL表的Flink表。最终，数据通过Flink作业写入Kafka，并通过Kafka控制台验证同步效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

演示: Mysql基于Flink CDC 导入 Kafka

使用下面的内容创建一个 docker-compose.yml 文件：

version: '2.1'
services:
  mysql:
    image: debezium/example-mysql:1.1
    ports:
      - "3306:3306"
    environment:
      - MYSQL_ROOT_PASSWORD=123456
      - MYSQL_USER=mysqluser
      - MYSQL_PASSWORD=mysqlpw
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      # client 要访问的 broker 地址【自己机器IP】
      KAFKA_ADVERTISED_HOST_NAME: 192.168.6.23
      # 通过端口连接 zookeeper
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181