用flume-ng-sql-source 从mysql 抽取数据到kafka被storm消费

关注

VIP免费原创最新推荐文章于 2026-06-16 10:42:50 发布 5.1k 阅读 AI 写同款· GEO 优化 ›

Flume实时采集mysql数据到kafka中并输出 Flume实时采集mysql数据到kafka中并输出。Apache Flume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。在大数据生态圈中，flume经常用于完成数据采集的工作。其实时性很高，延迟大约1-2s，可以做到准实时。又因为mysql是程序员常用的数据库，所以以flume实时采集mysql数据库为例子。要了解flume如何采集数据，首先要初探其架构：Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。阅读详情

1.下载编译flume-ng-sql-source 下载地址：https://github.com/keedio/flume-ng-sql-source.git

安装说明文档编译和拷贝jar包

2.编写flume-ng 配置文件

1.channels = ch-1
a1.sources = src-1
a1.sinks = k1
###########sql source#################
# For each one of the sources, the type is defined
a1.sources.src-1.type = org.keedio.flume.source.SQLSource
a1.sources.src-1.hibernate.connection.url = jdbc:mysql://172.16.43.21:3306/test
# Hibernate Database connection properties
a1.sources.src-1.hibernate.connection.user = hadoop
a1.sources.src-1.hibernate.connection.password = hadoop
a1.sources.src-1.hibernate.connection.autocommit = true
a1.sources.src-1.hibernate.dialect = org.hibernate.dialect.MySQL5Dialect
a1.sources.src-1.hibernate.connection.driver_class = com.mysql.jdbc.Driver
a1.sources.src-1.run.query.delay=5000
a1.sources.src-1.status.file.path = /h