采用Flume将Mysql增量数据采集至kafka

最新推荐文章于 2022-05-28 15:20:37 发布

弱水三千、先干为敬

最新推荐文章于 2022-05-28 15:20:37 发布

阅读量693

点赞数

分类专栏：大数据文章标签： Flume Mysql Kafka

本文链接：https://blog.youkuaiyun.com/weixin_44784673/article/details/103011599

版权

该博客介绍了如何配置和使用Flume从Mysql数据库中捕获增量数据并将其发送到Kafka。步骤包括安装Flume、Kafka和Mysql，下载并放置必要的jar文件，配置flume-env.sh和mysql-flume.conf文件，以及启动相关服务。重点在于Flume的sql-source配置，必须包含主键查询以实现增量同步。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、准备工作

（1）安装kafka、flume集群，以及mysql数据库
（2）下载flume-ng-sql-source-1.4.1.jar,放入flume的lib目录下
链接：https://pan.baidu.com/s/1wqxRR9V2PdcujTQAnru4aA
提取码：i9m3
或sql-json插件包下载地址：https://github.com/yucy/flume-ng-sql-source-json/releases/download/1.0/flume-ng-sql-source-json-1.0.jar
下载mysql驱动jar包放入flume的lib目录下(mysql5.5)
链接：https://pan.baidu.com/s/1sZv2b70mbBqcr4mrBLAbTQ 密码：cbxj

2、配置flume文件

（1）flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
export JAVA_OPTS="-Xms512m -Xmx512m -Dcom.sun.management.jmxremote -DpropertiesImplementation=org.apache.flume.node.EnvVarResolverProperties"
（2）在conf下创建mysql-flume.conf文件
sql语句自定义,但是要注意:增量只能针对id字段即主键列,经测试系统默认如此.
而且必须要将主键查询出来,因为如果不查询主键,flume无法记录上一次查询的位置.