接收实时数据 MySQL+Flume+Kafka 配置整合

yaya_en

已于 2022-04-24 20:56:29 修改

阅读量2.8k

点赞数

分类专栏：搭建大数据平台时踩到的坑文章标签： flume kafka mysql

于 2022-04-24 14:40:55 首次发布

本文链接：https://blog.youkuaiyun.com/jaaaaa_/article/details/124381112

版权

本文介绍了如何配置和整合MySQL、Flume与Kafka来实现实时数据流。首先，详细说明了安装和配置Kafka的过程，接着介绍了Flume的安装和配置，特别是配置Flume从MySQL读取数据。然后，通过启动Flume和Kafka，验证了数据流的正确性。最后，展示了如何解决可能出现的MySQL权限问题，并成功实现了数据的实时传输。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

话不多说，直接切入主题
前情概要：
编写scala代码，实现定时插入数据到MySQL的功能，模拟实时数据情景

工具版本信息：
Flume：1.9.0 Kafka：2.11-2.3.1 MySQL：5.6.13

基本架构：
数据源只有MYSQL，所以采集者Flume和MySQL在同一服务器
消费者Kafka我选择集群分布

host	server
leader	MySQL,zookeeper,Kafka,Flume
follower1	zookeeper,Kafka
follower2	zookeeper,Kafka

思路

1.安装Kafka，配置Kafka

前提：装好jdk,并配置好zookeeper，hdfs集群
此处使用jdk8
同样使用tar安装Kafka

修改配置文件
修改kafka下的conf中的server.properties文件

  vi $KAFKA_HOME/conf/server.properties

主要修改两个参数

#唯一的服务器id,每台机器分别不一样。
broker.id=001
#监听ip和端口,此处leader为本机存在ip映射的hostname
listeners=PLAINTEXT://leader:9092

测试Kafka
进入Kafka下的bin目录

#创建topic kafka_netcat_test
[root@leader bin]# ./kafka-topics.sh --create --zookeeper leader:2181,follower1:2181,follower2:2181 --replication-factor 1 --partitions 1 --topic kafka_netcat_test
#查看topic 是否创建成功
[root@leader bin]#./kafka-topics.sh --describe --zookeeper leader:2181,follower1:2181,follower2:2181 --topic kafka_netcat_test

#参数含义
–replication-factor 2 #复制两份
–partitions 2 #创建2个分区
–topic #主题
本处参考：https://blog.youkuaiyun.com/qq_32066409/article/details/81198488