Flume准实时增量采集MySQL的数据到Kafka,source为MySQL,channel为memory,sink为Kafka。关于Flume采集MySQL可以查看:Flume实战之准实时采集mysql数据到HBase和Hive的集成表,这里只需要在上一篇的基础上修改以下sink为Kafka,并做一些相关修改就可以了
MySQL中student表数据
采集表数据时的元数据信息,表flume_meta
先来启动kafka
root@master:/opt/modules/kafka_2.11# bin/kafka-server-start.sh -daemon config/server.properties
创建一个topic
root@master:/opt/modules/kafka_2.11# bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.
root@master:/opt/modules/kafka_2.11# bin/kafka-topics.sh --list --zookeeper master:2181
test
flu