flume监听oracle实现表增量

SkypeWang

于 2019-03-13 09:40:50 发布

阅读量3k

点赞数 1

文章标签： flume

本文链接：https://blog.youkuaiyun.com/webpetter/article/details/88524738

版权

本文介绍了一个需求，即如何实时监控Oracle数据库的用户操作。通过使用Flume-ng-sql-source插件，结合Hibernate操作数据库。该插件可以从GitHub获取或在优快云上下载。配置好所需的jar包和Flume配置文件后，启动Flume代理，并使用Kafka消费者查看实时监控结果。若要实现增量更新，可在SQL查询中基于时间戳进行逻辑调整。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现有一个需求，需要实时监控oracle用户的操作

现在git上有个版本可以利用hibernate进行对数据库的操作，git地址：https://github.com/keedio/flume-ng-sql-source

前期准备：（1）需要的jar oracle的 odbc5.jar（oracle安装目录 /jdbc/lib下查找）

（2）flume的开源包flume-ng-sql-source-1.4.3.jar ，通过对git项目的编译可以获得，或者csdn上直接下载一个，这两个包都放到flume的lib下

（3）flume配置文件

a1.sources = sourceOne
a1.sinks = sinkOne
a1.channels = channelOne

a1.sources.sourceOne.type = org.keedio.flume.source.SQLSource
a1.sources.sourceOne.hibernate.connection.url = jdbc:oracle:thin:@10.150.**.**:1521/orcl
a1.sources.sourceOne.hibernate.connection.user = wangxiaoming
a1.sources.sourceOne.hibernate.connection.password = ***
a1.sources.sourceOne.hibernate.connection.autocommit = true
a1.sources.sourceOne.hibern

最低0.47元/天解锁文章