OGG抽取进程异常一例

OGG进程异常排查
最新推荐文章于 2024-08-08 02:15:51 发布
原创 最新推荐文章于 2024-08-08 02:15:51 发布 · 7.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#OGG

本文介绍了一种Oracle GoldenGate (OGG) 进程在运行过程中出现的问题现象及解决方法。当OGG进程长时间处于running状态但未生成新的trail文件时，通过调整EXTRACT进程的开始时间来解决lag过大的问题。

1、问题现象

出去进程常常running，但是没有新产生trail文件，lag比较大

GGSCI (xxxdb) 3> info all
Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
EXTRACT     RUNNING     EXT1        05:35:57      492:33:56   
EXTRACT     RUNNING     PUMP1       00:00:00      00:00:02    
GGSCI (xxxdb) 4> 
GGSCI (xxxdb) 4> info EXT1,showch

EXTRACT    EXT1      Last Started 2018-05-28 17:20   Status RUNNING
Checkpoint Lag       05:35:57 (updated 492:35:53 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2018-05-07 23:13:49  Seqno 5331, RBA 289991960
                     SCN 3439.4180128660 (14774572659604)
					 
2018-05-28 17:20:53  INFO    OGG-00987  Oracle GoldenGate Command Interpreter for Oracle:  GGSCI command (dtogg): start EXT1.
2018-05-28 17:20:53  INFO    OGG-00963  Oracle GoldenGate Manager for Oracle, mgr.prm:  Command received from GGSCI on host pacsdb (START EXTRACT EXT1 ).
2018-05-28 17:20:53  INFO    OGG-00975  Oracle GoldenGate Manager for Oracle, mgr.prm:  EXTRACT EXT1 starting.
2018-05-28 17:20:53  INFO    OGG-00992  Oracle GoldenGate Capture for Oracle, ext1.prm:  EXTRACT EXT1 starting.
2018-05-28 17:20:53  INFO    OGG-03035  Oracle GoldenGate Capture for Oracle, ext1.prm:  Operating system character set identified as ISO-8859-1. Locale: en
_US, LC_ALL:.
2018-05-28 17:20:54  INFO    OGG-01815  Oracle GoldenGate Capture for Oracle, ext1.prm:  Virtual Memory Facilities for: BR
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /oracle/10.2/ogg/BR/EXT1.
2018-05-28 17:20:54  INFO    OGG-01815  Oracle GoldenGate Capture for Oracle, ext1.prm:  Virtual Memory Facilities for: COM
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /oracle/10.2/ogg/dirtmp.
2018-05-28 17:20:54  INFO    OGG-01639  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY:  ACTIVE: for object pool 1: p48169162_extr.
2018-05-28 17:20:54  INFO    OGG-01640  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY: recovery start XID: 117.11.252267.
2018-05-28 17:20:54  INFO    OGG-01641  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY: recovery start position: SeqNo: 5327, RBA: 322457
76, SCN: 3439.4175624574 (14774568155518), Timestamp: 2018-05-07 21:09:55.000000.
2018-05-28 17:20:54  INFO    OGG-01642  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY: recovery end position: SeqNo: 5329, RBA: 82061788
4, SCN: 3439.4180119353 (14774572650297), Timestamp: 2018-05-07 23:09:01.000000, Thread: 1.
2018-05-28 17:20:54  INFO    OGG-01579  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY: VALID BCP: CP.EXT1.000001412.
2018-05-28 17:20:54  INFO    OGG-01629  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY: PERSISTED OBJECTS RECOVERED: 9.
2018-05-28 17:20:54  INFO    OGG-00987  Oracle GoldenGate Command Interpreter for Oracle:  GGSCI command (dtogg):  start ext1.
2018-05-28 17:20:55  INFO    OGG-01513  Oracle GoldenGate Capture for Oracle, ext1.prm:  Positioning to Sequence 5327, RBA 32245776, SCN 3439.4175624574.
2018-05-28 17:20:57  INFO    OGG-01516  Oracle GoldenGate Capture for Oracle, ext1.prm:  Positioned to Sequence 5327, RBA 32245776, SCN 3439.4175624574, May
 7, 2018 9:09:55 PM.

2、问题解决

通过 info ext1 showch  查看抽取进程的Recovery Checkpoint，设置抽取进程到相应时间

GGSCI (xxxdb) 7> alter extract EXT1 ,tranlog ,begin 2018-05-07 23:13:49

EXTRACT altered.

GGSCI (xxxdb) 8> start EXT1

Sending START request to MANAGER ...
EXTRACT EXT1 starting

GGSCI (xxxdb) 9> info EXT1

EXTRACT    EXT1      Initialized   2018-05-28 17:28   Status RUNNING
Checkpoint Lag       498:14:13 (updated 00:00:10 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2018-05-07 23:13:49  Seqno 0, RBA 0
                     SCN 0.0 (0)

GGSCI (xxxdb) 12> info EXT1

EXTRACT    EXT1      Last Started 2018-05-28 17:28   Status RUNNING
Checkpoint Lag       498:13:54 (updated 00:00:09 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2018-05-07 23:14:31  Seqno 5331, RBA 834580564
                     SCN 3439.4180220954 (14774572751898)

GGSCI (xxxdb) 13> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
EXTRACT     RUNNING     EXT1        498:09:51     00:00:03    
EXTRACT     RUNNING     PUMP1       498:10:04     00:00:04    

GGSCI (xxxdb) 14>  info EXT1

EXTRACT    EXT1      Last Started 2018-05-28 17:28   Status RUNNING
Checkpoint Lag       498:08:55 (updated 00:00:07 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2018-05-07 23:20:30  Seqno 5333, RBA 1141071888
                     SCN 3439.4180340086 (14774572871030)
2018-05-28 17:28:02  INFO    OGG-00987  Oracle GoldenGate Command Interpreter for Oracle:  GGSCI command (dtogg): alter extract EXT1  tranlog ,begin 2018-05
-07 23:13:49.
2018-05-28 17:28:09  INFO    OGG-00987  Oracle GoldenGate Command Interpreter for Oracle:  GGSCI command (dtogg): start EXT1.
2018-05-28 17:28:09  INFO    OGG-00963  Oracle GoldenGate Manager for Oracle, mgr.prm:  Command received from GGSCI on host pacsdb (START EXTRACT EXT1 ).
2018-05-28 17:28:09  INFO    OGG-00975  Oracle GoldenGate Manager for Oracle, mgr.prm:  EXTRACT EXT1 starting.
2018-05-28 17:28:09  INFO    OGG-00992  Oracle GoldenGate Capture for Oracle, ext1.prm:  EXTRACT EXT1 starting.
2018-05-28 17:28:09  INFO    OGG-03035  Oracle GoldenGate Capture for Oracle, ext1.prm:  Operating system character set identified as ISO-8859-1. Locale: en
_US, LC_ALL:.
2018-05-28 17:28:09  INFO    OGG-01635  Oracle GoldenGate Capture for Oracle, ext1.prm:  BOUNDED RECOVERY: reset to initial or altered checkpoint.
2018-05-28 17:28:09  INFO    OGG-01815  Oracle GoldenGate Capture for Oracle, ext1.prm:  Virtual Memory Facilities for: BR
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /oracle/10.2/ogg/BR/EXT1.
2018-05-28 17:28:09  INFO    OGG-01815  Oracle GoldenGate Capture for Oracle, ext1.prm:  Virtual Memory Facilities for: COM
    anon alloc: mmap(MAP_ANON)  anon free: munmap
    file alloc: mmap(MAP_SHARED)  file free: munmap
    target directories:
    /oracle/10.2/ogg/dirtmp.
2018-05-28 17:28:10  INFO    OGG-01515  Oracle GoldenGate Capture for Oracle, ext1.prm:  Positioning to begin time May 7, 2018 11:13:49 PM.
2018-05-28 17:28:15  INFO    OGG-01516  Oracle GoldenGate Capture for Oracle, ext1.prm:  Positioned to Sequence 5331, RBA 279352336, SCN 0.0, May 7, 2018 11
:13:49 PM.
2018-05-28 17:28:15  INFO    OGG-00993  Oracle GoldenGate Capture for Oracle, ext1.prm:  EXTRACT EXT1 started.
2018-05-28 17:28:15  INFO    OGG-01055  Oracle GoldenGate Capture for Oracle, ext1.prm:  Recovery initialization completed for target file /oradata/ogg/dird
at/e1002586, at RBA 1024.
2018-05-28 17:28:15  INFO    OGG-01478  Oracle GoldenGate Capture for Oracle, ext1.prm:  Output file /oradata/ogg/dirdat/e1 is using format RELEASE 11.2.
2018-05-28 17:28:15  WARNING OGG-01438  Oracle GoldenGate Capture for Oracle, ext1.prm:  Checkpoint marked as from graceful shutdown, but records found afte
r checkpoint in trail /oradata/ogg/dirdat/e1.  Expected EOF Seqno 2583, RBA 6228814.  Found Seqno 2586, RBA 1024.
2018-05-28 17:28:15  INFO    OGG-01026  Oracle GoldenGate Capture for Oracle, ext1.prm:  Rolling over remote file /oradata/ogg/dirdat/e1002586.
2018-05-28 17:28:15  INFO    OGG-01053  Oracle GoldenGate Capture for Oracle, ext1.prm:  Recovery completed for target file /oradata/ogg/dirdat/e1002587, at
 RBA 1024.
2018-05-28 17:28:15  INFO    OGG-01057  Oracle GoldenGate Capture for Oracle, ext1.prm:  Recovery completed for all targets.
2018-05-28 17:28:15  INFO    OGG-01517  Oracle GoldenGate Capture for Oracle, ext1.prm:  Position of first record processed Sequence 5331, RBA 279352336, SC
N 3439.4180128606, May 7, 2018 11:13:49 PM.

shell下通过下列脚本过滤出OGG进程状态，留作监控使用

(echo info all;echo exit)|./ggsci|grep -E "EXTRACT|REPLICAT" |awk 'BEGIN {FS=" +"} {print $1","$3","$2","$4","$5}'




GoldenGate ogg进程参数说明
weixin_44161678的博客
12-11 938
查看所有进程状态info all#查看某个进程的状态#查看某个进程的详细信息#查看某个进程的抽数情况#启动进程#停止进程#查看报错信息#查看checkpoint信息。
OGG安装配置
磨刀大神的博客
07-31 7993
OGG简介（GoldenGate） OGG 是一种基于日志的结构化数据复制软件 OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟。 OGG安装 1. 使用Oracle用户，且加入oinstall用户组，GoldenGate安装在Oracle用户所在/home/oracle/app/OGG_linux/ggs目录下。 2. 源...
oracle ogg端口,OGG报错 OGG-01223
weixin_39957312的博客
04-03 529
源端MGRport 7809DYNAMICPORTLIST 7840-8440autostart er *autorestart er *, retries 5, waitminutes 3purgeoldextracts./dirdat/*, usecheckpoints, minkeepdays 3目标端MGRport 7809--DYNAMICPORTLIST 7840-9840auto...
Oralce GoldenGate故障处理-主机重启导致OGG pump进程传输tail文件异常
oradbm的博客
02-17 1324
分析report日志的同时也需要查看ggserr.log进行分析，片面了。MD。
OGG由于长事务无法停止抽取进程
11-10 2656
由于抽取进程延时较大，想尝试重启进程，但正常关闭报下面错误： Sending STOP request to EXTRACT E_CRM ... There are open, long-running transactions. Before you stop Extract, make the archives containing data for those transactions a...
Oracle GoldenGate OGG 报错汇总（转）
weixin_30608131的博客
06-07 2766
1、IP限制因其的目标端拒绝源端进程 源端告警：view report ext_1 ERROR OGG-01201 Error reported by MGR : Access denied. ERROR OGG-01668 PROCESS ABENDING. 目标端告警: view report mgr INFO OGG-00963 Oracl...
【OGG数据抽取术】：从Oracle 11g抽取数据的高效方法
本文系统地介绍了Oracle GoldenGate（OGG）数据抽取技术的原理、实践应用及未来发展趋势。从Oracle 11g数据模型与抽取原理出发，分析了OGG技术架构、性能考量以及环境搭建与配置方法。文章详细探讨了数据抽取案例...
利用ogg实现oracle到kafka的增量数据实时同步
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
05-25 5万+
ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 下面是我的源端和目标端的一些配置信息：可在这里或旧版本查询下载 注意：源端和目标端的文件不一样，目标端需要下载Oracle GoldenGate for Big Data,......
实时数仓实践（二）OGG同步到kafka
NuOne_plus的博客
09-06 3547
引用：https://blog.youkuaiyun.com/qq_31312071/article/details/116056488 ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 身份 hostname 组件和版本 IP OGG版本 源端 db-oracle oracle11g 192.168.10.101 row 1 col 2 目标端 linux121 kaf
OGG 两个故障案例处理
shlei5580的专栏
05-15 782
在测试OGG双向同步时，在目标端配置了应用进程，在启动应用进程时发现有报错，打算删除该应用进程，在执行delete REPLICAT rtb删除时报如下错误，导致无法删除。
oracle ogg重启,ORACLERAC重启使OGG故障处理
weixin_26976635的博客
04-03 588
日志错误报告2018-04-16 23:15:16INFOOGG-01026Oracle GoldenGate Capture for Oracle,ext-all.prm:Rolling over remote file/home/oracle/ogg/dirdat/al001269.2018-04-16 23:15:16INFOOGG-01053Oracle GoldenGate...
OGG Director报错 Connection FAILED
congsuituo5014的博客
05-27 420
ggserr.log 日志报错： INFO OGG-00963 Oracle GoldenGate Manager for Oracle, mgr.prm: Co...
运用OGG同步异构数据库时OGG-01201、OGG-00936的异常处理
weixin_29045001的博客
08-08 159
登录后复制 问题描述：运用OGG同步异构数据库时OGG-01201、OGG-00936的异常处理. 数据库：源端 oracle 19.13 目标端 mysql 8.0.27 ogg安装包：源端 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip 目标端 213000_ggs_Linu...
GoldenGate不能把源库的数据传送到备库，不能停止源库传送进程
css48419的博客
04-28 286
因为更改goldengate的传送进程参数，更改了里面需要传送的Oracle数据库用户。导致不能把源库的数据传送到备库中，备库的goldengate的dirdat目录下没有源库的数据。 传输进程的日志信息：2011-04-28...
add exttrail 和add rmttail总结
还不算晕的专栏
10-28 7069
总结： 1.使用PUMP--数据泵时： exttrail建立的trail文件是本地的，是给extract进程使用，将捕获的日志数据写入到trail文件中。 DataPump进程需要在参数文件中指定本地建立的exttrail文件，然后从这个文件中读取日志数据。 然后还要在目标端建立一个rmtrail文件，这个文件是DataPump进程通过网络写入到目标数据库。 目标数据库Replicat进
Oracle GoldenGate学习之--异构平台同步（Mysql到Oracle）
weixin_33937913的博客
09-26 668
Oracle GoldenGate学习之--异构平台同步（Mysql到Oracle）如图所示：源端采用Mysql库，目标端采用Oracle库一、OGG安装配置（源端）1、OGG下载https://edelivery.oracle.com/EPD/Download/get_form?egroup_aru_number=14841438https://edelivery.orac...
oracle 长事务等待,Oracle GoldenGate 常见问题：长事务处理
weixin_39872123的博客
04-04 401
长事务的影响OGG是基于事务级的实时复制工具，也就是说OGG只复制已提交的事务，在遇到事务的commit或rollback之前，它会将每个事务的操作存储在称为cache的托管虚拟内存池中。内存再大也有不够用的时候，当事务数据超过一定的阈值或者当前空闲内存无法满足分配请求时，OGG进程会将最少使用的old buffer swap 到磁盘上的dirtmp中。当OGG遇到长事务时，如果extract进程...
GoldenGate投递进程OGG-01416+OGG-01061错误处理一例
cuanmi4326的博客
05-30 1136
2015.5.14 记录 最先发现的是投递进程abend， 2015-05-14 07:56:06 ERROR OGG-01416 Oracle GoldenGate Capture for Oracle,...
ogg中添加抽取进程
最新发布
05-30
<think>好的，我现在需要帮助用户解决在OracleGoldenGate中配置和添加抽取进程的问题。首先，我得回忆一下之前学过的OGG相关知识，以及用户提供的引用内容。用户引用了三个资料，其中引用[1]提到了创建抽取进程和传送进程的步骤，引用[3]有添加replicat的GGSCI命令示例。用户的问题是关于如何配置和添加抽取进程的，所以重点应该放在Extract Process的配置步骤上。首先，我需要确定配置抽取进程的基本流程。通常，OGG的配置包括安装软件、创建管理目录、参数文件配置、定义进程等步骤。根据引用[1]，在源数据库安装OGG软件后，需要创建管理目录和参数文件，然后创建抽取进程和传送进程。用户的问题集中在抽取进程，所以需要详细说明这部分。 接下来，步骤可能包括登录GGSCI，添加抽取进程，编辑参数文件，定义抽取源，检查点设置，启动进程等。需要确保每一步都正确，比如参数文件中的EXTRACT名称与添加的进程一致，配置正确的trail文件路径，指定正确的表或事务日志等。然后，需要考虑参数文件的具体内容，比如使用EXTRACT命令，SOURCEISTABLE用于初始加载，或者TRANLOGOPTIONS处理日志。还要注意检查点表的配置，如引用[3]中的CHECKPOINTTABLE，这可能与抽取进程的检查点有关，但通常检查点表更多用于Replicat进程。不过需要确认是否正确应用。 另外，用户可能对参数的具体配置有疑问，比如如何指定表结构、过滤条件等。需要举例说明，比如使用TABLE语句指定源表，或者使用FILTER子句。同时，要提醒用户处理可能的错误，如权限问题、路径不存在等。最后，验证步骤很重要，比如查看进程状态，检查日志文件，确保数据正确抽取到trail文件中。可能还需要引用用户提供的示例命令，比如addextract和editparams，确保语法正确。总结一下，回答需要分步骤详细说明，包括GGSCI命令、参数文件配置、启动进程的方法，并给出示例。同时，要结合用户提供的引用内容，正确引用相关步骤，如引用[1]中的创建抽取进程部分。此外，相关问题可以引导用户进一步学习优化、监控或处理初始数据加载的方法。</think>### Oracle GoldenGate 中配置和添加抽取进程（Extract Process）的步骤 #### **1. 准备工作** - 确保已安装Oracle GoldenGate软件，并创建管理目录（如`dirdat`、`dirprm`等）[^1]。 - 确保源数据库已启用补充日志（Supplemental Logging），以捕获变更数据。 #### **2. 登录GGSCI命令行工具** ```bash cd /u01/app/product/ogg_src ./ggsci ``` #### **3. 添加抽取进程** 通过以下命令定义抽取进程，并指定其类型和关联的Trail文件： ```sql ADD EXTRACT <extract_name>, {TRANLOG | INTEGRATED TRANLOG} [, BEGIN <time> | NOW] -- 示例：添加一个实时抽取进程，并生成本地Trail文件 ADD EXTRACT extr1, TRANLOG, BEGIN NOW ADD EXTTRAIL /u01/app/product/ogg_src/dirdat/et, EXTRACT extr1 ``` - **类型说明**： - `TRANLOG`：基于传统事务日志的抽取。 - `INTEGRATED TRANLOG`：适用于Oracle数据库的集成模式（推荐11.2.0.4及以上版本）。 #### **4. 编辑抽取进程参数文件** 使用`EDIT PARAMS`命令配置抽取规则： ```sql EDIT PARAMS extr1 ``` 在参数文件中定义以下内容： ```bash EXTRACT extr1 -- 数据库连接信息 USERIDALIAS ogg_user DOMAIN admin -- 指定Trail文件路径 EXTTRAIL /u01/app/product/ogg_src/dirdat/et -- 定义抽取的表（支持通配符） TABLE schema1.table1; TABLE schema2.*; -- 若需过滤数据，可添加条件 TABLE schema3.orders, FILTER (WHERE amount > 1000); ``` #### **5. 注册抽取进程（仅集成模式需执行）** 若使用集成模式，需在数据库中注册抽取进程： ```sql REGISTER EXTRACT extr1 DATABASE CONTAINER (<pdb_name>) ``` #### **6. 启动抽取进程** ```sql START EXTRACT extr1 ``` #### **7. 验证配置** - 检查进程状态： ```sql INFO EXTRACT extr1, DETAIL ``` - 查看日志报告： ```sql VIEW REPORT extr1 ``` --- ### **关键参数说明** - **`USERIDALIAS`**：使用安全认证别名代替明文密码[^1]。 - **`TRANLOGOPTIONS`**：调整事务日志读取参数（如解码格式）。 - **`TABLE`**：支持通配符（`*`）或条件过滤（`FILTER`）。 --- ### **相关问题** 1. 如何为Oracle GoldenGate抽取进程配置数据过滤？ 2. 集成模式（Integrated Extract）与传统模式有何性能差异？ 3. 如何监控抽取进程的延迟和吞吐量？[^2] 4. 如何处理抽取进程因日志缺失导致的异常终止？ --- ### **引用说明** - 添加进程和参数配置参考了GoldenGate基础管理流程[^1][^3]。 - 监控方法可通过Enterprise Manager插件实现可视化[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值