Flume与Kafka集成之准实时增量采集MySQL数据到Kafka

本文介绍了如何使用Flume从MySQL进行准实时增量数据采集,并将这些数据发送到Kafka。配置中,source为MySQL,channel为memory,sink配置为Kafka。在MySQL的student表中插入数据后,通过Flume-kafka.conf配置文件启动Flume进程,数据成功传输到Kafka,并通过consumer观察到数据已被消费。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Flume准实时增量采集MySQL的数据到Kafka,source为MySQL,channel为memory,sink为Kafka。关于Flume采集MySQL可以查看:Flume实战之准实时采集mysql数据到HBase和Hive的集成表,这里只需要在上一篇的基础上修改以下sink为Kafka,并做一些相关修改就可以了

MySQL中student表数据
在这里插入图片描述
采集表数据时的元数据信息,表flume_meta
在这里插入图片描述

先来启动kafka

root@master:/opt/modules/kafka_2.11# bin/kafka-server-start.sh -daemon config/server.properties 

创建一个topic

root@master:/opt/modules/kafka_2.11# bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test   
Created topic test.
root@master:/opt/modules/kafka_2.11# bin/kafka-topics.sh --list --zookeeper master:2181                                      
test

flu

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值