Flume与Kafka集成之准实时增量采集MySQL数据到Kafka

最新推荐文章于 2025-06-24 15:00:06 发布

原创

最新推荐文章于 2025-06-24 15:00:06 发布 · 1.7k 阅读

8 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Flume从MySQL进行准实时增量数据采集，并将这些数据发送到Kafka。配置中，source为MySQL，channel为memory，sink配置为Kafka。在MySQL的student表中插入数据后，通过Flume-kafka.conf配置文件启动Flume进程，数据成功传输到Kafka，并通过consumer观察到数据已被消费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flume准实时增量采集MySQL的数据到Kafka，source为MySQL，channel为memory，sink为Kafka。关于Flume采集MySQL可以查看：Flume实战之准实时采集mysql数据到HBase和Hive的集成表，这里只需要在上一篇的基础上修改以下sink为Kafka，并做一些相关修改就可以了

MySQL中student表数据
在这里插入图片描述
采集表数据时的元数据信息，表flume_meta

先来启动kafka

root@master:/opt/modules/kafka_2.11# bin/kafka-server-start.sh -daemon config/server.properties

创建一个topic

root@master:/opt/modules/kafka_2.11# bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test   
Created topic test.
root@master:/opt/modules/kafka_2.11# bin/kafka-topics.sh --list --zookeeper master:2181                                      
test

flu