OGG同步数据到Hadoop平台（Kafka）

最新推荐文章于 2023-12-21 14:06:02 发布
原创 最新推荐文章于 2023-12-21 14:06:02 发布 · 3.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据同步 #Hadoop

本文档详细介绍了如何通过Oracle GoldenGate (OGG) 将Oracle数据库中的数据实时同步到Hadoop平台上的Kafka。首先，概述了需求，然后分别讲述了OGG、Zookeeper和Kafka的下载与安装过程。接着，讨论了配置和启动OGG的步骤，包括异常排查。最后，通过更新数据并验证Kafka中的同步效果，证明了OGG数据同步方案的有效性。

 

需求

                                                

系统部署图

  需求很简单，就是从数据中心利用OGG同步数据到应用系统中的kafka。整理如下

环境清单
名称 系统版本 IP地址 OGG版本 其他服务
源端 Linux version 3.8.13-68.3.4.el6uek.x86_64 192.168.1.41

Version 12.3.0.1.0 OGGCORE_12.3.0.1.0_PLATFORMS_170721.0154_FBO

Oracle Release 12.2.0.1.0 Production 
目的端 Linux version 3.10.0-514.el7.x86_64 192.168.3.63

Version 12.3.0.1.0 OGGCORE_OGGADP.12.3.0.1.0GA_PLATFORMS_170828.1608

kafka_2.12-2.0.0

zookeeper-3.4.13

准备

下载

zookeeper：http://zookeeper.apache.org/releases.html#download

kafka：http://kafka.apache.org/downloads

ogg：http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

文件自行下载，需说明的是源端和目标端的文件不一样，源端需要下载Oracle GoldenGate for Oracle，目标端需要下载Oracle GoldenGate for Big Data,

安装

根据说明安装相关的软件，并做好相关的配置，如环境变量、网络防火墙等，不在细说，不明白的问度娘

这里列举一下自己的安装路径：

文件安装清单
名称 OGG Oracle zookeeper kafka
最低0.47元/天 解锁文章
wzy2006
关注
Oracle ogg 同步到 kafka topic 消费
最新发布
weixin_44161678的博客
10-16 1208
1.6.3 kafka配置文件（如上1.6.2中custom_kafka_producer_sr.properties）1.6.2 ogg2kafka 配置文件（如上1.6.1中的：sr_test.props）1.7.4 查看进程状态信息（可以看到9条 insert 数据记录）1.5.3 抽取、投递添加进程。1.5.1 创建抽取进程文件。1.5.2 创建投递进程文件。1.6 目标端ogg进程配置。1.5 源端ogg进程配置。1.6.4 复制进程添加。1.7.2 目标端启动。1.6.1 复制进程。
使用ogg实现oracle到kafka的增量数据实时同步
dtstack_FAD的博客
04-10 4301
使用ogg实现oracle到kafka的增量数据实时同步 ​ 彬彬 ​
OGG增量抽取Oracle业务数据到kafka-部署手册.doc
04-26
OGG增量抽取Oracle业务数据到kafka-部署手册
实时数仓实践（二）OGG同步到kafka
NuOne_plus的博客
09-06 3548
引用：https://blog.youkuaiyun.com/qq_31312071/article/details/116056488 ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 身份 hostname 组件和版本 IP OGG版本 源端 db-oracle oracle11g 192.168.10.101 row 1 col 2 目标端 linux121 kaf
OGG从oracle到KAFKA的增量数据表同步操作
Romona_J的博客
12-21 1252
oracle的库：cas库kfaka服务器：给与topic信息、以及服务器IP：端口同步表：cas.students。
基于 OGG 的 Oracle 与 Hadoop 集群准实时同步介绍
jing_x的博客
06-27 806
版权声明：本文由王亮原创文章，转载请注明出处: 文章原文链接：https://www.qcloud.com/community/article/220Oracle 里存储的结构化数据导出到 Hadoop 体系做离线计算是一种常见数据处置手段。近期有场景需要做 Oracle 到 Hadoop 体系的实时导入，这里以此案例做以介绍。Oracle 作为商业化的数据库解决方案，自发性的获取数据库事务日志等...
使用OGG实现Oracle到kafka数据同步（详细版本）
Kayleigh520的博客
01-04 2823
使用OGG实现Oracle到kafka数据同步
利用ogg实现oracle到kafka的增量数据实时同步
主要分享大数据相关的知识，如Spark、Hudi
05-25 5万+
ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 下面是我的源端和目标端的一些配置信息：可在这里或旧版本查询下载 注意：源端和目标端的文件不一样，目标端需要下载Oracle GoldenGate for Big Data,......
ogg12.3+mmsql配置写入kafka
weixin_40361868的博客
09-14 410
1、解压ogg压缩包 注意：源端是安装了sqlserver的机器，sqlserver环境变量之前都配置好了，解压之后在希望安装 OracleGoldenGate 的位置（在本示例中为C:\Users\Administrator\Desktop\GG）解压缩下载的压缩包。然后打开命令提示符，转到 C:\Users\Administrator\Desktop\GG目录，启动GGSCI（GoldenG...
【大数据开发运维解决方案】OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)
热门推荐
赵延东的一亩三分地
03-15 18万+
GoldenGate12C For Bigdata+Kafka：通过OGG将Oracle数据以Json格式同步到Kafka提供给flink流式计算 Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。这里介绍O...
OGG|使用 OGG12.3 同步 Oracle 部分表到 Kafka
JiekeXu的博客
08-17 1205
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习使用 OGG12.3 同步 Oracle 部分表到 Kafka，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！说 明：源端 Oracle 数据库版本 ...
oracle11g通过ogg12同步数据至kafka
zhangqiang0910的博客
12-06 1147
返回。
(2)第十三章
m0_50947507的博客
11-04 184
Squid代理服务器 创建管理squid账户 配置squid 编译安装 修改squid目录的所有者 优化squid命令 创建存储日志文件 检查squid配置文件是否有错误 初始化缓存目录 启动squid服务 修改主配置文件 允许所有人使用squid 默认监听端口3128 管理squid用户 管理squid组 限制用户通过代理下载文件10M 检查主配置文件是否错误 启动squid服务 配置客户端设置代理 开启代理服务器的路由功能 配置透明代理 开启代理功能 安
OGG到kafka替换目标端OGG
weixin_30779691的博客
08-27 829
1.--源端 --停源端所有进程 stop * stop mgr 2.--目标端进程 info REP_K4 showch---看RBA是否变化，查询checkpoint 表 send REP_K4 status--查看 有没有大事物 --确认上述信息OK，则停目标端所有进程 stop * stop mgr 3.----新目标端 备份...
ORACLE OGG同步到KAFKA
renyanjie123的博客
05-23 3875
ORACLE OGG同步到KAFKA 一、介绍 Kafka是一种高效的消息队列实现，通过订阅kafka的消息队列，下游系统可以实时获取在线Oracle系统的数据变更情况，实现业务系统 ogg同步全量数据方式： ①通过数据泵方式基于SCN导出并导入到目标端，此方式用于Oracle 到Oracle的ogg同步环境中。 ②通过ogg本身的初始化方式，初始化全量数据到目标端，此方式通用于所有环境，但是速度相对较慢。 二、ogg环境搭建 ogg环境搭建并没太大变化，同oracle中相似 1.源端Or
ogg安装实时同步kafka部署
qq_40582275的博客
11-19 2099
OGG Oracle GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 Manager(控制)进程 用于管理 Extract，Data Pump，Replicat等进程 在 Extract、Data Pump、Replicat 进程启动之前，Manager 进程必须先要在源端和目标端启动 Extract(抽取)进程 可以配置Extract 进程来做 ⒈ 初始数据装载
ogg oracle hadoop,OGG的Oracle与Hadoop集群准实时同步详解
weixin_30569443的博客
04-03 624
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Ora...
mysql ogg kafka,基于OGG的MySQL与Hadoop集群／kafka准实时同步
weixin_36080474的博客
03-23 489
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决。...
基于OGG的Oracle与Hadoop集群准实时同步介绍
qian_xiaoqian的博客
11-16 5703
版权声明：本文由王亮原创文章，转载请注明出处:  文章原文链接：https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值