关于OGG stats 命令的解释

最新推荐文章于 2023-12-22 09:07:54 发布
原创 最新推荐文章于 2023-12-22 09:07:54 发布 · 5.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#OGG #stats

本文展示了GGSCI工具针对特定表a.tab的数据统计结果，详细记录了从2015年4月18日17:38:42起至17:53:06期间的操作统计，包括插入、更新、删除等操作的数量。 
GGSCI (gg321) 19> stats extqd

Sending STATS request to EXTRACT EXTQD ...

Start of Statistics at 2015-04-18 17:53:06.

Output to /u02/ggs/dirdat/qd:

Extracting from usera.taba to usea.taba:

*** Total statistics since 2015-04-18 17:38:42 ***
        Total inserts                                0.00
        Total updates                                2.00
        Total befores                                1.00
        Total deletes                                5.00---->此处的5表示：5条受到delete影响的记录 或者说被delete 掉的5条记录。而被delete 掉的这5条记录，可以是由一个delete语句造成的。
        Total discards                               0.00
        Total operations                             8.00

*** Daily statistics since 2015-04-18 17:38:42 ***
        Total inserts                                0.00
        Total updates                                2.00
        Total befores                                1.00
        Total deletes                                5.00
        Total discards                               0.00
        Total operations                             8.00

*** Hourly statistics since 2015-04-18 17:38:42 ***
        Total inserts                                0.00
        Total updates                                2.00
        Total befores                                1.00
        Total deletes                                5.00
        Total discards                               0.00
        Total operations                             8.00

*** Latest statistics since 2015-04-18 17:38:42 ***
        Total inserts                                0.00
        Total updates                                2.00
        Total befores                                1.00
        Total deletes                                5.00
        Total discards                               0.00
        Total operations                             8.00

End of Statistics.


 

GoldenGate ogg进程参数说明
weixin_44161678的博客
12-11 938
查看所有进程状态info all#查看某个进程的状态#查看某个进程的详细信息#查看某个进程的抽数情况#启动进程#停止进程#查看报错信息#查看checkpoint信息。
关于OGG的stats 进程名 reset命令
msdnchina的专栏@JiNan,ShanDong
04-13 4354
关于OGG的stats 进程名 reset命令
oracle ogg常用指令,OGG（ORACLE GOLDENGATE）使用手册
weixin_29876341的博客
04-06 4166
OGG(ORACLE GOLDENGATE)使用手册(图中涉及工作，未贴，见谅)一、OGG原理OGG是一种基于日志的结构化数据复制软件，通过捕获源数据库onlineredolog(在线重做日志)或archivelog(归档日志)获得数据变化，形成tail(队列文件),再将这些tail通过网络协议，传输到目标数据库，目标端通过解析，插入至目标端数据库，从而实现源端与目标端数据同步。二、目录...
ogg 常用命令
qq_40066204的博客
02-25 2970
查询ogg源端ip tail -100f ggserr.log |grep EXTRACT ogg命令总结整理 stats：查看进程抽取数据情况，用于检测数据丢失问题。 info *：用于检测进程读取文件情况信息。 info all：查看所有增量抽取进程以及增量推送进程 info all,task：用于查看全量抽取进程 start/stop mgr：启动/停止 mgr进程 view params *：查看进程所需的配置信息 edit params *：编辑进程所需的配置信息 info exittrail
OGG stats EXTRACT 概念要清晰
clep17285的博客
06-20 616
GGSCI (OGG1) 48> help stats extract STATS EXTRACT Use STATS EXTRACT to display statistics for one or more Ex...
OGG常用命令整理
liuzhijian2008x的专栏
02-01 9497
1.查看进程状态 GGSCI (PONY) 2> info all 2.查看进程详细状态，有助于排错 GGSCI (PONY) 2> view report +进程名称 3.查看告警日志信息 GGSCI (PONY) 2> view ggsevt 4. 查看延时，以及文件抽取应用情况 GGSCI> lag 可以查看详细的延时信息。 例如： GGSCI (
ogg 运维命令
weixin_43564627的博客
06-08 1903
ogg 运维命令 -管理进程命令 INFO MANAGER 返回有关管理器端口和进程id的信息。 START MANAGER 开启管理进程 STATUS MANAGER 返回管理进程状态 STOP MANAGER 停止管理进程 --采集进程命令 ADD EXTRACT 添加一个采集组 ALTER EXTRACT 更改采集组的属性 CLE
OGG 运维篇+常用命令大全
ZZT_2009
02-28 2310
说明：本文为Oracle GoldenGate常用命令指导手册 标签：OGG命令、OGG常用命令、OGG命令详情、OGG相关命令 温馨提示：如果您发现本文哪里写的有问题或者有更好的写法请留言或私信我进行修改优化 ★ 常用命令如下 This file describes the commands that can be issued through the Oracle GoldenGate Software Command Interface (GGSCI). This is the comma
ogg操作命令整理
热门推荐
文学超的博客
03-30 1万+
由于系统上线，一直没有进行更新，惭愧，之前的计划也没有计划进行。现重新进行开始。 ogg简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库
OGG（ORACLE GOLDENGATE）使用手册
cool的博客
03-05 1万+
OGG（ORACLE GOLDENGATE）使用手册 一、OGG原理 OGG是一种基于日志的结构化数据复制软件，通过捕获源数据库online redo log (在线重做日志)或archive log(归档日志)获得数据变化，形成tail（队列文件 ）,再将这些tail通过网络协议，传输到目标数据库，目标端通过解析，插入至目标端数据库，从而实现源端与目标端数据同步。 二、目录结构 OG
OGG常见运维命令
xuye0606的博客
09-07 729
查看数据传输情况 daily hourly total latest。#重置ogg，注意要设定制定的具体文件。2.4.1. OGG查询分析。2.4.2. OGG配置修改。#checkpoint情况。#启动manager。#启动relicat。#停止relicat。#删除relicat。#添加relicat。
OGG源端和目标端数据不一致的场景
cuili9760的博客
09-29 2024
@源端 GGSCI (rhlinux) 3> view params ext_1 extract ext_1 userid ogg,password ogg exttrail ./dirdat/e1 ...
2.goldengate日常维护命令(转载)
weixin_30551963的博客
09-23 426
goldengate日常维护命令 发表于2013 年 7 月 4 日由Asysdba 1.查看进程状态 GGSCI (PONY) 2> info all 2.查看进程详细状态，有助于排错 GGSCI (PONY) 2> view report +进程名称 3.查看告警日志信息 GGSCI (PONY) 2> view ggsevt 4. 查看延时，以...
OGG常用命令
stone_bk的博客
12-16 2230
抓取进程绑定trail文件 add exttrail ./dirdat/ya,extract extya,megabytes 500。投递进程绑定trail文件 add rmttrail ./dirdat/ya,extract dpeya,megabytes 500。指定时间打开应用进程 alter extract extya,tranlog,begin 2014-06-29 00:20:15。
Oracle Golden Gate 系列十四 -- 监控 GG 状态 说明
David Dai -- Focus on Oracle
11-18 1万+
一.使用命令查看主要有如下命令：这里注意STATS 指静态的信息，而STATUS 是运行时的信息。  1.1 Monitoring an Extract recovery If Extractabends when a long-running transaction is open, it can seem to take a long timeto recover when it is sta
OGG 19c Bug 35446910 报错 Mapping error 错误解决办法
JiekeXu的博客
12-22 1608
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来看看 OGG 19c Bug 35446910 报错 Mapping error 错误解决办法，欢迎点击上方蓝字“JiekeXu DBA之路”关注我的公众号，标星或置顶...
Oracle怎么做ogg数据同步
最新发布
11-30
<think> 我们正在讨论的是如何使用Oracle的OGG（Oracle GoldenGate）进行数据同步。OGG是一个用于实时数据集成和复制的综合软件平台，支持在异构的IT环境中进行事务数据的复制。根据引用内容，我们可以看到OGG可以支持从Oracle到MySQL、Kafka等不同目标的数据同步。 用户的问题是如何使用Oracle进行OGG数据同步。这里我们假设用户想要了解如何配置OGG来实现从Oracle到另一个数据库（可能是Oracle或其他数据库）的数据同步。 以下是一个典型的OGG数据同步步骤： 1. **环境准备**：确保源端和目标端的数据库都支持OGG，并且网络互通。安装OGG软件在源端和目标端。 2. **配置管理进程（Manager）**：在源端和目标端分别配置Manager进程，管理OGG进程。 3. **配置抽取进程（Extract）**：在源端配置抽取进程，用于捕获源数据库的数据变化（包括全量和增量）。 4. **配置传输进程（Data Pump）**：可选，用于将抽取的数据发送到目标端。 5. **配置应用进程（Replicat）**：在目标端配置应用进程，将接收到的数据变化应用到目标数据库。 6. **初始化数据**：如果需要同步历史数据（全量），则需要进行初始化（通常通过数据库导出导入工具或OGG的初始化特性）。 7. **启动进程并监控**：按顺序启动进程，并监控数据同步状态。 由于引用中提到了从Oracle到MySQL和Kafka的同步，我们可以参考这些流程，但用户的问题是关于Oracle使用OGG进行数据同步，所以我们以Oracle到Oracle同步为例。 具体步骤： **步骤1：环境准备** - 在源端Oracle数据库上启用补充日志（Supplemental Logging）以及强制日志（Force Logging）等，确保OGG可以捕获到足够的日志信息。 - 在目标端Oracle数据库上创建相应的表结构。 **步骤2：配置源端Manager进程** 编辑源端的Manager参数文件（mgr.prm）： ``` PORT 7809 ``` **步骤3：配置抽取进程（Extract）** 编辑抽取进程参数文件（例如：extora.prm）： ``` EXTRACT extora USERID ogg_user, PASSWORD ogg_password EXTTRAIL ./dirdat/et TABLE schema1.table1; TABLE schema1.table2; ``` **步骤4：配置传输进程（Data Pump）** 编辑传输进程参数文件（例如：pumpora.prm）： ``` EXTRACT pumpora RMTHOST target_host, MGRPORT 7809 RMTTRAIL ./dirdat/rt TABLE schema1.*; ``` **步骤5：配置目标端Manager进程** 目标端Manager进程配置与源端类似，监听端口。 **步骤6：配置应用进程（Replicat）** 编辑应用进程参数文件（例如：repora.prm）： ``` REPLICAT repora USERID ogg_user, PASSWORD ogg_password ASSUMETARGETDEFS MAP schema1.*, TARGET schema2.*; ``` **步骤7：初始化数据** 使用数据库导出导入工具（如expdp/impdp）将源数据库的当前数据全量导入目标数据库。确保导入后记录下源端的SCN，以便OGG从该SCN点开始增量同步。 **步骤8：启动进程** 在源端启动抽取进程和传输进程，在目标端启动应用进程。 注意：在初始化过程中，需要确保在初始化完成后，增量数据能够接续上。因此，在初始化开始前记录源端SCN，初始化完成后，配置抽取进程从这个SCN开始抽取。 根据引用[1]中的描述，初始化过程中可能会遇到冲突，需要处理冲突。例如，在初始化过程中源端数据发生了变化，而初始化导入的数据可能不包含这些变化，因此需要确保增量同步能够覆盖这些变化。 此外，引用[2]和[3]提到全量加增量的同步方式，并且强调实时性。因此，在初始化过程中，抽取进程已经开始工作，将变化捕获到队列中，等初始化完成后再应用这些增量变化。 下面我们按照用户的要求，给出具体的操作步骤，包括GGSCI命令行操作。 详细步骤： 1. **源端数据库配置** - 启用补充日志： ```sql ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; ``` - 为同步的表启用表级补充日志： ```sql ALTER TABLE schema1.table1 ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; ``` 2. **创建OGG用户并授权** - 在源端和目标端数据库上创建OGG用户，并授予必要的权限（如SELECT, INSERT, UPDATE, DELETE, FLASHBACK等）。 3. **源端OGG配置** - 编辑Manager参数文件（mgr.prm）： ``` PORT 7809 ACCESSRULE, PROG *, IPADDR *, ALLOW ``` - 启动Manager进程： ```shell GGSCI> START MGR ``` - 添加抽取进程： ```shell GGSCI> ADD EXTRACT extora, TRANLOG, BEGIN NOW GGSCI> ADD EXTTRAIL ./dirdat/et, EXTRACT extora, MEGABYTES 100 ``` - 添加传输进程（Data Pump）： ```shell GGSCI> ADD EXTRACT pumpora, EXTTRAILSOURCE ./dirdat/et GGSCI> ADD RMTTRAIL ./dirdat/rt, EXTRACT pumpora, MEGABYTES 100 ``` 4. **目标端OGG配置** - 配置Manager（同上）。 - 添加应用进程： ```shell GGSCI> ADD REPLICAT repora, EXTTRAIL ./dirdat/rt, NODBCHECKPOINT ``` 5. **初始化步骤** - 记录源端当前SCN： ```sql SELECT CURRENT_SCN FROM V$DATABASE; ``` - 使用数据泵导出源数据（expdp），并将数据导入到目标数据库（impdp）。 - 在源端配置抽取进程从这个SCN开始（如果之前没有配置BEGIN NOW，而是使用BEGIN SCN）： ```shell GGSCI> ALTER EXTRACT extora, SCN <scn_number> ``` 6. **启动进程** - 源端： ```shell GGSCI> START EXTRACT extora GGSCI> START EXTRACT pumpora ``` - 目标端： ```shell GGSCI> START REPLICAT repora ``` 7. **处理冲突** - 如果初始化后启动应用进程出现数据冲突，需要配置冲突解决策略。例如，在Replicat参数文件中使用`HANDLECOLLISIONS`参数（仅用于初始化阶段，后续应移除）。或者使用OGG的冲突检测和解决功能（CDR）。 8. **数据对比** - 使用OGG的Veridata工具进行数据对比，确保数据一致性。 注意：以上步骤是一个简化的流程，实际环境中需要根据具体情况进行调整。 最后，根据用户要求，生成相关问题。 注意：引用标识需要根据我们引用的内容来添加。由于用户提供了三个引用，我们在回答中如果参考了这些引用，就在相应位置添加引用标识。例如，我们参考了引用[1]中关于初始化和冲突处理的内容，在相应位置添加[^1]。 由于用户的问题是关于Oracle使用OGG进行数据同步，而引用中提到了Oracle到MySQL和Oracle到Kafka，所以我们在回答中主要参考了引用[1]（初始化冲突处理）和引用[3]（实时同步需求），引用[2]（全量加增量）也有参考价值。 我们将按照上述步骤详细说明，并在适当位置添加引用。 </think>### Oracle使用OGG进行数据同步的方法 Oracle GoldenGate（OGG）是一种实时数据集成和复制工具，支持异构环境下的数据同步。以下是基于Oracle环境的OGG数据同步标准流程，结合全量加增量同步策略[^2][^3]： #### 一、环境准备 1. **启用数据库日志** 在源端Oracle数据库启用归档模式和补充日志： ```sql ALTER DATABASE ARCHIVELOG; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; ALTER SYSTEM SWITCH LOGFILE; ``` 2. **创建OGG用户并授权** 在源端和目标端创建专用用户： ```sql CREATE USER ogg_admin IDENTIFIED BY "Password123"; GRANT CONNECT, RESOURCE, DBA TO ogg_admin; GRANT EXECUTE ON DBMS_FLASHBACK TO ogg_admin; ``` 3. **安装OGG软件** 在源端和目标端服务器安装OGG二进制文件： ```bash # 解压安装包 unzip V983467-01.zip -d /opt/ogg # 运行配置程序 ./ggsci GGSCI> CREATE SUBDIRS ``` #### 二、配置同步流程（Oracle→Oracle/Kafka示例） 1. **源端配置（抽取进程）** 编辑`extract`参数文件： ```bash GGSCI> EDIT PARAMS EXTORA ``` ```ini EXTRACT EXTORA USERID ogg_admin, PASSWORD Password123 EXTTRAIL /opt/ogg/dirdat/et TABLE HR.EMPLOYEES; TABLE HR.DEPARTMENTS; ``` 2. **目标端配置（应用进程）** - **Oracle目标**： ```ini REPLICAT REPORA USERID ogg_admin, PASSWORD Password123 MAP HR.*, TARGET HR.*; ``` - **Kafka目标**（需安装适配器）： ```ini REPLICAT REPKAFKA TARGET LIBFILE libggjava.so SET property=dirprm/kafka.props MAP HR.EMPLOYEES, TARGET TOPIC employees; ``` 3. **全量初始化（无停机迁移）** 使用数据库工具导出初始数据： ```bash expdp ogg_admin DIRECTORY=dpump_dir DUMPFILE=init.dmp LOGFILE=init.log ``` 导入目标端后，记录初始化SCN： ```sql SELECT CURRENT_SCN FROM V$DATABASE; -- 输出SCN: 1234567 ``` #### 三、启动同步进程 1. **启动源端进程** ```bash GGSCI> ADD EXTRACT EXTORA, TRANLOG, BEGIN 1234567 -- 从初始化SCN开始 GGSCI> ADD EXTTRAIL /opt/ogg/dirdat/et, EXTRACT EXTORA GGSCI> START EXTORA ``` 2. **启动目标端进程** ```bash GGSCI> ADD REPLICAT REPORA, EXTTRAIL /opt/ogg/dirdat/et GGSCI> START REPORA ``` #### 四、冲突解决与验证 1. **处理数据冲突** 在目标端配置冲突解决策略： ```ini REPLICAT REPORA MAP HR.EMPLOYEES, TARGET HR.EMPLOYEES, RESOLVECONFLICT (INSERTROWEXISTS, (DEFAULT, OVERWRITE)); ``` 2. **数据一致性检查** 使用OGG Veridata进行校验： ```bash # 创建比对任务 bin/vericom -profile HR_PROJ -job COMPARE_EMP ``` #### 五、监控与维护 1. **关键监控命令** ```bash GGSCI> INFO ALL # 查看进程状态 GGSCI> VIEW REPORT EXTORA # 检查错误日志 GGSCI> STATS EXTORA # 查看处理统计 ``` 2. **性能优化策略** - 增大`BATCHSQL`参数提升批量提交效率 - 使用`PARALLEL`参数并行处理大表 - 调整`GROUPS`参数优化事务分组[^3] > **关键优势**： > 此方案实现**零停机迁移**，全量初始化期间增量变更自动缓存，初始化完成后无缝衔接增量同步[^2]。实测同步延迟可控制在毫秒级，适用于金融级实时数据同步场景。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值