flume监控mysql数据推送到kafka

最新推荐文章于 2025-03-17 18:10:22 发布

Tinsonz

最新推荐文章于 2025-03-17 18:10:22 发布

阅读量2k

点赞数

分类专栏： mysql 大数据文章标签： flume kafka

本文链接：https://blog.youkuaiyun.com/weixin_43840194/article/details/94587205

版权

前提：
1.需要安装flume服务
2.mysql-connector-java-5.1.35-bin.jar需要有这个连接的jar包，且版本要一致。
3.status.file.path 路径需要给予flume相应的权限（chmod）

a1.channels = c1
a1.sources = r1
a1.sinks = k1

a1.sources.r1.type = org.keedio.flume.source.SQLSource
a1.sources.r1.hibernate.connection.url = jdbc:mysql://rr-bp1to6k8d31463pu83o.mysql.rds.aliyuncs.com:3306/bigdatabi

a1.sources.r1.hibernate.connection.user = spagobi
a1.sources.r1.hibernate.connection.password = DDzQXZD/VwVkeA==
a1.sources.r1.hibernate.connection.autocommit = true
a1.sources.r1.hibernate.dialect = org.hibernate.dialect.MySQL5Dialect
a1.sources.r1.hibernate.connection.driver_class = com.mysql.jdbc.Driver
a1.sources.r1.run.query.delay=5000
a1.sources.r1.status.file.path = /var/flume
a1.sources.r1.status.file.name = sqlSource.status

a1.sources.r1.start.from = 1
a1.sources.r1.custom.query = select * from aaa
a1.sources.r1.b