flume监听oracle实现表增量

最新推荐文章于 2023-01-31 15:26:46 发布

原创

最新推荐文章于 2023-01-31 15:26:46 发布 · 3.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#flume

本文介绍了一个需求，即如何实时监控Oracle数据库的用户操作。通过使用Flume-ng-sql-source插件，结合Hibernate操作数据库。该插件可以从GitHub获取或在优快云上下载。配置好所需的jar包和Flume配置文件后，启动Flume代理，并使用Kafka消费者查看实时监控结果。若要实现增量更新，可在SQL查询中基于时间戳进行逻辑调整。

现有一个需求，需要实时监控oracle用户的操作

现在git上有个版本可以利用hibernate进行对数据库的操作，git地址：https://github.com/keedio/flume-ng-sql-source

前期准备：（1）需要的jar oracle的 odbc5.jar（oracle安装目录 /jdbc/lib下查找）

（2）flume的开源包flume-ng-sql-source-1.4.3.jar ，通过对git项目的编译可以获得，或者csdn上直接下载一个，这两个包都放到flume的lib下

（3）flume配置文件

a1.sources = sourceOne
a1.sinks = sinkOne
a1.channels = channelOne

a1.sources.sourceOne.type = org.keedio.flume.source.SQLSource
a1.sources.sourceOne.hibernate.connection.url = jdbc:oracle:thin:@10.150.**.**:1521/orcl
a1.sources.sourceOne.hibernate.connection.user = wangxiaoming
a1.sources.sourceOne.hibernate.connection.password = ***
a1.sources.sourceOne.hibernate.connection.autocommit = true
a1.sources.sourceOne.hibernate.dialect = org.hibernate.dialect.