OGG性能测试 oralce 12c 到kafka 2019-11-18

最新推荐文章于 2024-05-24 09:36:03 发布
最新推荐文章于 2024-05-24 09:36:03 发布
阅读量758 收藏 1
点赞数
分类专栏： OGG kafka 文章标签： OGG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44404862/article/details/103127590
版权

**

OGG性能测试 oralce 12c 到kafka 2019-11-18

**

  • **环境：ogg-kafka ogg版本：191004_fbo_ggs_Linux_x64_shiphome 在这里插入图片描述

  • ogg-kafka版本：OGG_BigData_Linux_x64_19.1.0.0.1

    在这里插入图片描述

  • kafka集群：192.168.202.135,136,185 topic：test gourpId：mysteel

  • oracle版本：12c 12.2.0.1.0 服务器内核版本：CentOS release 6.10 (Final)**

JDBC测试：
一：10线程 连续插入10000条数据到表test.DP_INDEX_DATA
在这里插入图片描述
在这里插入图片描述

之前数据量

最低0.47元/天 解锁文章
Oracle常用高可用方案（10）——OGG
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
04-10 229
本文对Oracle常用高可用方案——OGG，结合实例进行了详尽的说明和讲解，并对注意事项、关键知识点和选项等进行了重点标注和详尽解析，以便于读者进行深入学习和理解。
oracle ogg 全量 增量,1.利用ogg实现oracle到kafka的增量数据实时同步.md
weixin_34666478的博客
04-02 1505
## 利用ogg实现oracle到kafka的增量数据实时同步#### 前言> ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。下面是源端和目标端的一些配置信息：| -- | 版本 | OGG版本 | IP | 别...
OGG问题诊断和性能优化工具
My Technology Workstation
07-14 2634
一.概述 Oracle提供了很多工具供我们用于监控OGG的进程状态，优化OGG的性能及问题处理。主要包含以下工具: 1).GGSCI命令行; 2).OGG trace参数; 3).OGG报告和日志; 4).OGG Director; 5).操作系统日志; 6).OGG logdump工具 7).MOS文档 二.工具详解: 2.1.GGSCI命令行: 我
Goldengate单向大事务复制性能测试
weixin_33939843的博客
11-29 92
Goldengate单向数据复制，为了图省事没有配pump，只配了source的extract和target的replicat；实际操作发现gg对大事务的支持还是比streams好一些，streams碰上大事务就只看到SPILL MESSAGES了: /*源端配置信息*/ GGSCI (rh2.oracle.com) 1> view params mgr PORT 7809 GGSC...
ogg简介
SitDoen的博客
09-07 1488
OGG简介
ogg12同步oracle11g数据至kafka，StreamSets3.21抽取kafka数据消费至kudu
kkHMou的博客
05-17 450
ogg12同步oracle11g数据至kafka文章 链接： https://blog.youkuaiyun.com/kkHMou/article/details/116451669 StreamSets如何建立管道流这里就不提了，直接看配置。 一、kafka数据 利用 kafka tool这个软件连接kafka查看数据 使用ogg传过来的数据是JSON格式 二、StreamSets配置 1、总体流程 2、Kafka Comsumer 如果你不清楚你的kafka版本，到kafka的安装目录，执行： find
常问的OGG问题
u011868279的博客
03-21 2418
常问的OGG问题
利用OGG实现Oracle到Kafka到Greenplum的增量数据同步
Enmotech的博客
02-22 977
墨墨导读：本文来自墨天轮用户 肖杰 的投稿，介绍用OGG实现Oracle到Kafka到Greenplum的增量数据同步的全过程。墨天轮主页：https://www.modb.pro/u/6...
1.Oracle GoldenGate概述
weixin_42005129的博客
02-26 1234
接触OGG也有好几年的时间了。OGG适用的异构、同构实时数据同步很多，不过目前在生产实践中只有用到Mysql 实时同步至ORACLE。所以对于其他的同步案例很少用到，关于OGG的知识点也是用到的才比较熟悉，很少用到的知识和一些关键名词也是比较陌生。趁着现在有时间，想全面的学习下。就记录下来。本文学习记录，官网入口这几个问题都是比较概念、概括性。如果有感兴趣的网友，可以自己阅读官网。下文就选OGG相关产品介绍下。其他的不记录于此。
Oralce GoldenGate与Kafka集群集成
DW/BI专栏
10-22 9552
本文介绍如何配置Oracle GoldenGate 同步数据到Kafka，包括OGG源端安装配置，OGG for Big Data replication安装配置，以及如何与Kafka集群集成。 OGG& Kafka安装部署 软件准备 1.      Oracle11.2.0.2 生产环境运行的Oracle Server版本 2. Or
ogg oracle 12c 容器,Oracle12Cogg配置
weixin_35747051的博客
04-08 524
Oracle12C ogg配置配置OGG安装目录的共享：这里的共享就是把OGG安装到一个共享的设备上，把该目录同时挂到不同节点的相同位置上，这样当一个节点挂了之后，可以在另一个节点启动和维护OGG。所以我们上面在配置的时候，才会同时在2个节点操作，并且参数名称也一致。如果不考虑这种冗余的方案，可以直接在其中一个节点上操作，不用搞的这么麻烦。我们这里就在一个节点操作，不搞那么复杂了，这里仅...
OGG_KAFKA问题及解决方法
11-20
KAFKA和OracleGoldenGate安装过程中出现的问题及其解决方法
Oracle查看ogg延时,Goldengate性能优化之优化Extract抽取进程性能 解决OGG抽取日志延迟...
weixin_30015835的博客
04-02 1072
一般来说OGG Goldengate 抽取进程对CPU的压力非常小， 而对于I/O 、network的吞吐量有轻量级的要求。用低配置AIX测试结果如下。抽取进程支持DB Log生成峰值速度 = 4 * 2.1 = 8.4 MB/秒，或30GB/小时，或726 GB/天。抽取进程平均CPU占用1.9% 。投递进程支持DB Log生成平均速度 = 2,096,854 * 2.1 = 4.5 MB/秒，...
ogg 日常维护与异常分析
热门推荐
okhymok的博客
11-01 1万+
2.4        OGG日常监控 2.4.1        OGG常用监控命令 .4.1.1        启动GoldenGate进程 1)        首先以启动GoldenGate进程的系统用户（一般为oracle）登录源系统。 2)        进入GoldenGate安装目录，执行./ggsci进入命令行模式。 3)        启动源端管理进程GGSCI > sta
2.--Goldgate常用参数说明
congzhandeping6436的博客
11-20 503
OGG常见参数说明 1.配置管理进程mgr： ggsci(test01) 1> view param mgr port 7809 dynamicportli...
使用ogg实现oracle到kafka的增量数据实时同步
dtstack_FAD的博客
04-10 4053
使用ogg实现oracle到kafka的增量数据实时同步 ​ 彬彬 ​
【原创】OGG21.3 CENTOS配置ORACLE 19C ADG至KAFKA
最新发布
xiaoyang1982的专栏
05-24 1227
GROUPTRANSOPS为以事务传输时，事务合并的单位，减少IO操作；GETUPDATEBEFORES ----12.3版本要加此参数，若不加，在普通update时，即便抽取进程加了GETUPDATEBEFORES等参数，kafka表中的被修改字段修改前的值也不会被写入，11G版本不需要此参数亦可，详情看后面实施过程遇到的错误列表。配置oracle的环境变量文件/home/oracle/.bash_profile里配置，为了怕出问题，我把OGG_HOME等环境变量在/etc/profile配置了一份。
ogg oracle到hive,OGG FOR BigData(Hive) GoldenGate 性能测试
weixin_42502408的博客
04-03 780
版本信息：Oracle GoldenGate Command InterpreterVersion 12.2.0.1.160419 OGGCORE_12.2.0.1.0OGGBP_PLATFORMS_160430.1401Linux, x64, 64bit (optimized), Generic on Apr 30 2016 16:21:34Operating system character ...
OGG rep运行慢的分析步骤
msdnchina的专栏@JiNan,ShanDong
02-09 3027
OGG rep运行慢的分析步骤
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值