Kafka Connect Oracle：一款高效捕获Oracle数据库变更的开源工具

于 2024-11-27 14:12:00 发布
阅读量1k 收藏 17
点赞数 13
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_01097/article/details/144082816

Kafka Connect Oracle：一款高效捕获Oracle数据库变更的开源工具

kafka-connect-oracle Kafka Source Connector For Oracle kafka-connect-oracle 项目地址: https://gitcode.com/gh_mirrors/ka/kafka-connect-oracle

Kafka Connect Oracle 是一个开源项目，旨在实现将Oracle数据库中的数据变更实时捕获并推送到Kafka系统中。该项目主要使用Java编程语言开发，充分利用了Kafka和Oracle的技术优势。

项目基础介绍

Kafka Connect Oracle 是一个Kafka Source Connector，用于捕获Oracle数据库中的所有行级DML（数据操作语言）变更，并将这些变更作为流数据发送到Kafka中。它基于Oracle的LogMiner技术实现数据变更捕获，并支持多种配置选项以适应不同场景的需求。

核心功能

  1. 实时数据变更捕获：通过监听Oracle数据库的日志文件，实时捕获所有提交的DML操作（Insert、Update、Delete）。
  2. 数据解析：捕获的SQL DML语句可以被解析为字段和值，方便后续的数据处理和分析。
  3. 动态主题创建：如果没有指定主题，Kafka Connect Oracle 会为每个数据库表动态创建主题。
  4. 权限控制：支持对捕获的数据进行权限控制，可以指定捕获特定表或模式的数据。
  5. 多租户支持：在Oracle的多租户环境中，可以配置连接器以支持多租户架构。

最近更新的功能

  • DDL捕获支持：最新版本增加了对DDL（数据定义语言）语句的捕获能力，将DDL语句发布到特定主题中。
  • 部分回滚检测：实现了部分回滚的检测功能，确保数据的准确性。
  • 兼容性提升：对于Oracle数据库的新版本，如19c，由于CONTINUOUS_MINE选项不再支持，Kafka Connect Oracle 对捕获机制进行了调整，以兼容新的数据库版本。

通过这些更新，Kafka Connect Oracle 进一步增强了其功能和性能，为用户提供了更加灵活和可靠的数据捕获解决方案。

kafka-connect-oracle Kafka Source Connector For Oracle kafka-connect-oracle 项目地址: https://gitcode.com/gh_mirrors/ka/kafka-connect-oracle

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

kafka连接oracle,kafka-connect-oracle 连接器安装部署
weixin_36213756的博客
04-07 2872
由于业务需求，需要从Oracle数据库中获取某表的修改日志信息。这里讲解一下在GitHub中kafka-connect-oracle 连接器的部署。1、GitHub中下载项目kafka-connect-oracle 2、添加配置a.数据库必须处于archivelog模式：sqlplus / as sysdba //sqlplus sys/sys as sysdba;SQL>shutdow...
kafka-connect-oracle数据同步到kafka
weixin_41561862的博客
07-28 1957
（1）oracle端打开归档，最小补全日志，创建账号 alter database add supplemental log data (all) columns; create user kafka_test identified by 123456; grant connect,resource,dba to kafka_test; （2）下载需要的jar包 ojdbc6.jar、kafka-connect-oracle-1.0.jar包放在libs目录下面，本机的目录如下 /home/kaf
Kafka Connect Oracle 项目使用教程
gitblog_00334的博客
08-16 902
Kafka Connect Oracle 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/ka/kafka-connect-oracle 1. 项目的目录结构及介绍 Kafka Connect Oracle 项目的目录结构如下： kafka-connect-oracle/ ├── src/ │ └── main/ │ ├── java/ │ ...
kafka-connect-oracle 连接器安装部署
JJBOOM425的博客
05-18 4474
由于业务需求，需要从Oracle数据库中获取某表的修改日志信息。这里讲解一下在GitHub中kafka-connect-oracle 连接器的部署。 1、GitHub中下载项目 kafka-connect-oracle 2、添加配置 a.数据库必须处于archivelog模式： sqlplus / as sysdba //sqlplus sys/sys as sysdba; SQL>shutdown immediate SQL>startup moun
基于kafka的接口平台（数据库源Oracle同步增删改语句至kafka）
qq_39879126的博客
08-15 4873
从Oracle数据库捕获所有基于行的DML更改并将这些更改流式传输到Kafka。变更数据捕获逻辑基于Oracle LogMiner解决方案。 一、测试环境准备： 1，搭建环境准备，这里准备了一台linux云服务器配置为2核4G 2M带宽 50G系统盘 2，执行lscpu查看服务器配置 3，执行free -m查看内存 二、搭建zookeeper： 1，zookeeper镜像采用wurstmeister/zookeeper:latest拉取zookeeper镜像 docker pull wurstm..
Oracle数据库变更流式传输至Kafka的Kafka Connect源连接器
Kafka Connect-Oracle是一个开源项目，它允许用户从Oracle数据库中捕获数据变更并将这些变更实时流式传输到Kafka。该连接器利用了Oracle的LogMiner工具来捕获基于行的DML（数据操纵语言）更改。LogMiner是Oracle...
使用kafka-connect-oracle采集oracle数据
m0_60319041的博客
07-19 869
1.下载软件包 将kafka-connect-oracle的jar包放到kafka客户端的libs目录下，并将连接oralce的驱动包ojdbc的jar包（根据oracle的版本选择jar包，此处使用的是ojdbc6.jar）放到kakfa客户端libs目录下。 2.登录oracle数据库，对用户授权 a.数据库必须处于archivelog模式： sqlplus / as sysdba //sqlplus sys/sys as sysdba; SQL>shutdown immedi
利用kafka connect获取Oracle的DDL操作日志
qq_39140816的博客
07-12 2881
1.登陆Oracle： lsnrctl status 查看监听 lsnrctl start 开启监听 为了使在kafka的服务器上可以访问到oracle这台服务器的ip，需要在oracel的安装目录下（/data/oracle/product/11.2.0/db_1/network/admin）的listener.ora中添加ip监听 [oracle@localhost ~]sqlplus ...
Apache Flink 配合 Debezium 连接器来捕获 Oracle 数据库变更日志的应用
最新发布
喝醉酒的小白
10-09 824
这个异常表明 Debezium 的 Oracle Log Miner 连接器在处理日志文件时遇到了问题，因为它找不到包含特定 SCN（系统更改编号）的日志文件。通过这些步骤，可以排查并解决当前遇到的异常问题。如果需要进一步的帮助，请提供更多的日志信息或具体的问题描述。：Oracle 的日志文件可能未被正确地传递给 Debezium，或者所需的日志文件已经丢失或未被归档。：异常信息建议需要进行重新快照，以确保从正确的起点开始读取变更。：SCN 偏移量可能超出了当前可用日志文件的范围。
Kafka Connect Oracle 项目教程
gitblog_00033的博客
08-16 545
Kafka Connect Oracle 项目教程 kafka-connect-oracleKafka Source Connector For Oracle项目地址:https://gitcode.com/gh_mirrors/ka/kafka-connect-oracle 项目介绍 Kafka Connect Oracle 是一个开源项目，旨在为 Oracle 数据库提供 Kafka Sou...
kafka-connect-oracle:Kafka Source Connector for Oracle
05-28
Kafka ConnectOracle kafka-connect-oracle是一个Kafka源连接器，用于从Oracle数据库捕获所有基于行的DML更改并将这些更改流式传输到Kafka。 变更数据捕获逻辑基于Oracle LogMiner解决方案。 仅从Oracle中提取已提交的更改，即插入，更新，删除操作。 所有流式传输的消息都有相关的完整“ sql_redo”语句和带有sql语句值的已解析字段。 解析的字段和值在模式中保留在正确的字段类型中。 消息具有DML操作的行字段的旧（更改前）和新（更改后）值。 插入操作只有标记为“数据”的行的新值。 更新操作具有标记为“数据”的新数据，并且还包含标记为“之前”的更改之前的行的旧值。 删除操作仅包含标记为“之前”的旧数据。 消息 只能捕获指定的操作，例如INSERT / UPDATE / DELETE。 DDL捕获支持。可以通过此连接器
kafka-connect-oracle-1.0.71.jar
06-29
2021年6.29号打包，最新版本：kafka-connect-oracle-1.0.71.jar，用于根据oracle binglog日志同步数据到kafka
kafka-connect-oracle-1.0.jar
10-31
kafka实现oracle实时数据同步，向kafka中推送实时数据，需要oralce开启归档日志。
connect to Oracle using JDBC
12-17
JDBC连接ORACLE数据库,实现增加、删除、更新、查询等基本的 操作。
kafka 实时 同步 oracle (kafa-connect-oracle)
saibeifeng187的博客
08-12 2375
1.登陆Oracle lsnrctl status 查看监听 lsnrctl start 开启监听 [oracle@172~]sqlplus sys/password as sysdba SQL>shutdown immediate SQL>startup mount SQL>alter database archivelog; SQL>alter database open; SQL>alter database add supplemental log d..
Kafka（六）利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中以及实现缓存一致性
特别享受思考问题的过程
12-02 2775
sourceConnector.jar，将源数据导入至Kafka的topic中sinkConnector.jar，将Kafka topic中的数据导入至目标源但是Kafka并没有提供特别丰富的connector，那么Debezium就出现了。你可以把Debezium简单理解成是CDC技术的一种实现，并提供了很多数据库的sourceConnector.jar和sinkConnector.jar。
kafka-connect-oracle集群模式
weixin_50045980的博客
04-22 2599
目的 实现oracle的数据增量同步 实现方式 使用开源组件，读取oracle的redolog，然后把增量数据推送到kafka。 组件地址：https://github.com/erdemcer/kafka-connect-oracle 源码介绍了单机版的使用方式，本文介绍集群版的使用方式。 前提 启用oracle的redolog，详细步骤可参考：https://blog.youkuaiyun.com/sunny05296/article/details/81130042 搭建kafka集群 详细步骤 下载 h
使用kafka connect 实现从oracle到kafka的数据同步
热门推荐
QYHuiiQ
04-09 1万+
1.登陆Oracle： [oracle@localhost ~]$ lsnrctl status [oracle@localhost ~]$ lsnrctl start [oracle@localhost ~]$ sqlplus /nolog SQL> conn / as sysdba SQL> startup 这样oracle就启动了。为了使在kafka的服务器上可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

伏保淼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值