OGG replicat复制进程的拆分

最新推荐文章于 2024-12-31 07:56:33 发布
最新推荐文章于 2024-12-31 07:56:33 发布
阅读量3.6k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： OGG日常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/datingting1/article/details/79583690
本文详细介绍如何通过创建额外的Replicat进程来分担原有GoldenGate Replicat的负载，包括停止原始进程、配置新参数文件、设置读取检查点等步骤。

1.停止replicat进程

cd $GG_HOME
ggsci
GGSCI>stop  rgs_cx1

2.将两个新的replicat参数文件拷贝到$GG_HOME/dirprm目录中。
这两个新的参数文件与原有的参数文件的主要区别是将其中的复制表按负载均分为了两部分，分别放在单独的参数文件中。
3.

GGSCI> dblogin userid 用户名, password 密码
GGSCI> ADD REPLICAT rgs_cx2,EXTTRAIL ./dirdat/cg checkpointtable gsgg_checkpoint
GGSCI> ADD REPLICAT rgs_cx3,EXTTRAIL ./dirdat/cg checkpointtable gsgg_checkpoint

4.检查replicat进程的checkpoint信息 ，记录下其Current Checkpoint信息中的sequence和RBA值。

GGSCI > info rgs_cx1,showch

REPLICAT   RGS_CX1   Last Started 2018-03-16 14:36   Status RUNNING
Checkpoint Lag       24:03:22 (updated 00:00:00 ago)
Log Read Checkpoint  File ./dirdat/cg006704
                     2018-03-15 16:23:02.975650  RBA 29158793
 这里6704 是sequence 号，29158793是RBA号

5.修改新建replicat进程的read checkpoint信息
根据step 4中得到的Current checkpoint信息修改新建replicat进程的checkpoint信息，之后新建的replicat进程就会从旧replicat进程停止的位置开始抓取新的信息

GGSCI> alter rgs_cx2, extseqno <sequence >, extrba <RBA>
GGSCI> alter rgs_cx3, extseqno <sequence >, extrba <RBA>

6.启动新建的replicat进程

GGSCI>start *
怎么从OGG Trail文件中找到数据库的SCN号？
DataVoyager的博客
02-07 789
适用于 Oracle GoldenGate - Version 10.0.0.0 to 11.1.1.1.9 [Release 10.0.0 to 11.1.1.1] 目标 怎么从OGG中找到database scn 解决方案 通常，OGG 路径除了使用token外不包含 SCN 信息。为此，您必须在设置中使用 token。使用token会将每条记录的 SCN 信息存储在一个额外的字段（token）中，并在捕获期间将此字段写入trail文件中。以下是您需要对抽取进程参数文件进行的修改以完成此操作。
OGG复制进程延迟处理思路与方法
weixin_33933118的博客
04-09 3929
可能问题分析：1、源端E进程处于abend状态且长时间未解决，导致pump和Replicat进程均出现延迟2、源端有大表做批量更新操作（比如对历史数据插入、更新、删除几千万上亿条数据）3、表没有主键或唯一索引，导致同步更新时出现全表扫描4、Replicat进程里面的表过多，处理不过来5、MGR管理进程挂死6、网络中断或主机故障，导致目标端与源端通讯异常 解决问题一系列办法：我们通过数据库与OGG进...
可以对replicate进程进行拆分 （进程拆分系列之三）
wll的专栏
04-03 2738
可以对replicate进程进行拆分 exta 进程同步 t1，t3 表，对replicate 进程中的表进行拆分成两个进程分表对t1表 和t3表 进行同步 1、ext 进程同步表t1，t3 create table t1 as select * From emp where 0=1; alter table t1 add primary key(empno); create tab
ogg复制配置
不吃草的牛德
08-22 1434
1.将ogg安装包传至服务器目录，以oracle用户解压（例：ORACLE_BASE目录下） 2.增加Oracle系统环境变量  LD_LIBRARY_PATH=/opt/app/oracle/product/11.2.0/dbhome_1/lib      ogg在运行时会调用oracle相关库文件 3.在源端与目标端创建同步用户，该用户必须能够访问源数据库和目标数据库用户下面
OGG的Replicat Checkpoint RBA和Local Trail Size
msdnchina的专栏@JiNan,ShanDong
01-28 1508
OGG的Replicat Checkpoint RBA和Local Trail Size
ogg中抽取或复制进程（extract or replicat）中表的的重复配置
07-18 1676
Oracle Goldengate 有时候会遇到一种情况：一个extract或replicat进程中，需要配置一个schema用户下的所有表，同时需要针对某一个表在某个时间或某个scn号之后的数据。那么在配置的时候可能会有重复。...
Oracle GoldenGate进程的合并与拆分规范
12-17
- 停止replicat进程。 4. 抽取进程合并原则： - 合并抽取进程时，原则与拆分原则相同，需要保证数据的一致性。 - 合并需考虑当前进程的配置、系统性能以及业务需求等因素。 5. 抽取进程合并细则： - 通常情况...
ogg 查看某条更新_ogg range多个进程读一个TRAIL文件，缓解数据同步延时
weixin_33612966的博客
12-24 900
ogg 当同步某张表的源端有大量并发操作时，如INSERT UPDATE千万级数据记录操作。同步链路的入库进程不能及时的处理，将产生数据同步延时。此时可以使用OGG的range参数据将单个进程拆分为多个进程，同时读取trail文件，并行操作，提高入库进程数据同步效率。防止数据延时对生产的影响。具体操作步骤如下：1. 创建配置文件 vi ggs/dirprmRQFTJ001.prmRQFTJ002....
OGG|Oracle GoldenGate 如何新增应用进程
JiekeXu的博客
12-31 810
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,江湖人称“强哥”，青学会MOP技术社区联合创始人，荣获 Oracle ACE Pro 称号，墨天轮 MVP，墨天轮年度“墨力之星”，拥有 Oracle OCP/OCM 认证,MySQL 5.7/8.0 ...
oracle数据库ogg延迟,OGG goldengate 常用性能调优 - OGG-Oracle GoldenGate - Oracle数据库数据恢复、性能优化来问问AskMaclean - Pa...
weixin_32365777的博客
04-05 1280
OGG goldengate 常用性能调优常用调优方法 –寻找extract瓶颈使用系统工具监控Extract运行的CPU/IO/MemCPU：top，topas，sar等IO：iostat等Mem：vmstat等使用TESTMAPPINGSPEED可以使Extract只解析日志但不写队列，用于测试日志抽取速度如果加入该参数使Extract性能能够显著提高，则写队列为可能瓶颈缩小Extract...
OGG 复制进程拆分
clep17285的博客
07-03 390
需求：OGG 原来将很多表放到一个复制进程的参数文件里面了需要进行细分把一部分表 划分出来用另外一个进程管理。 原来的复制进程参数文件如下： 黑色框出部门为我们需要拆分出来的表： 步骤： 1、停止replicat ...
OGG管理 -重新配置传输进程和修改检查点
oradbm的博客
07-10 3541
alter extract extpmon_a,begin now alter extract extpmon_a,begin 2013-02-14 11:56:00 alter repmon_c extseqno 1231212 extrba 0 从1231212号tail文件开始复制。 alter repmon_c aftercsn 12122112 过滤数据从scn 12122112的事务处理 --修改抽取进程的开始抽取点：（rp1 的读检查点） alter extract myext BEGI.
oracle ogg checkpoint,OGG 11g Checkpoint 详解
weixin_29341975的博客
04-08 493
OGG Checkpoint 详解定位中断的位置，下次启动从中断的位置开始恢复。1.target 端配置；2.一条记录对应一个replicat一. ExtractCheckpoints(1)Extractreadcheckpoints(1)Startupcheckpoint --ogg启动的时候创建当Extract进程启动的时候，会创建startupcheckpoint，用来...
OGG单向复制实践教程
uc5152534的博客
09-10 1295
前言 OGG用于Oracle数据库间，进行数据同步。 搭建环境： 操作系统：centos7.6 两台服务器（均部署了单节点的Oracle11G） 一、安装goldengate软件 1.1OGG软件 在源端数据库所在服务器和目标端数据库所在服务器 都要安装。 1.2设置环境变量，修改hosts文件 Item Source System Target System Platform Red Hat 5.10 Red Hat 5.10 Hostname bjcuug tjcuug Data
ogg replicat 进程 abend 处理
05-20 586
Oracle Goldengate实际使用过程中经常会出现abend的现象，有时ggserr.log提示的信息又让我们摸不着头脑。 2011-11-01 09:14:28 WARNING OGG-014...
OGG学习笔记04-OGG复制部署快速参考
weixin_33682719的博客
01-25 235
OGG学习笔记04-OGG复制部署快速参考 源端：Oracle 10.2.0.5 RAC + ASM 节点1 Public IP地址：192.168.1.27 目标端：Oracle 10.2.0.5 IP地址：192.168.1.30 操作目标：将源端数据库业务用户jy下两张表ogg同步到目标端数据库业务用户ludan下。 在源端配置OGG extract、data pump进程；数据初始化；目标...
记OGG参数&命令（杂）
weixin_42466837的博客
07-08 1447
map table , target table,colmap(usedefaults,KOMOK=BWART);指定主键 add trandata table, nokey, cols(id, id2) 添加主键 tranlogoptions excludeuser ogg 排除OGG用户 map table , target table,filter (@GETENV ("transaction", "csn") > xxxxx)单表指定scn号启动 map table , tar...
OGG常用命令
stone_bk的博客
12-16 2188
抓取进程绑定trail文件 add exttrail ./dirdat/ya,extract extya,megabytes 500。投递进程绑定trail文件 add rmttrail ./dirdat/ya,extract dpeya,megabytes 500。指定时间打开应用进程 alter extract extya,tranlog,begin 2014-06-29 00:20:15。
OGG 合并REPLICAT进程
leo__1990的博客
06-17 1144
OGG 拆分REPLICAT进程可参考https://www.cndba.cn/leo1990/article/2859 1.2. OGG 合并REPLICAT进程 1.2.1. 停止extract进程 GGSCI (cndba) 16> stop ext1 Sending STOP request to EXTRACT EXT1 ... Request processed. ...
oracle ogg复制进程指定scn
最新发布
07-02
<think>我们正在处理一个关于Oracle GoldenGate的问题：用户想要在配置复制进程（Replicat）时指定一个特定的SCN（SystemChange Number）作为起点。根据Oracle GoldenGate的文档，我们可以通过为Replicat进程设置`STARTSCN`参数来实现这一点。这通常在创建Replicat进程时完成，可以通过添加一个`STARTSCN`子句在`ADDREPLICAT`命令中。具体步骤如下：1.在GoldenGate命令行界面（GGSCI）中，使用`ADDREPLICAT`命令创建Replicat进程，并在命令中指定`STARTSCN`。例如：```ADD REPLICATrep1, EXTRAIL ./dirdat/rt, STARTSCN<scn_number>```其中，`rep1`是Replicat进程的名称，`EXTRAIL`指定了trail文件的位置，`<scn_number>`是用户想要指定的SCN。2.如果Replicat进程已经存在，我们可以通过编辑参数文件，在参数文件中使用`STARTSCN`参数。但是注意，对于已经存在的Replicat进程，修改参数文件后需要重启进程。在参数文件中，我们可以这样写：```REPLICATrep1ASSUMETARGETDEFSSTARTSCN<scn_number>...```注意：`STARTSCN`参数告诉Replicat进程从指定的SCN开始读取trail文件中的记录。只有当trail文件中包含该SCN及之后的数据时，Replicat才能正常处理。因此，确保指定的SCN在trail文件中存在。另外，引用[1]中提到，如果主数据库实例停止或失败，Extract会异常终止（abend）。在这种情况下，如果我们需要将GoldenGate迁移到另一个节点上运行，需要先停止原节点上的Manager进程，然后在另一个节点上启动GoldenGate进程。这个场景虽然与指定SCN没有直接关系，但提醒我们在配置Replicat时，如果涉及到数据库实例的变更，需要注意这些步骤。引用[3]提到在初始加载（initial load）过程中，需要创建在线Extract和Replicat组，并在加载过程中启动这些组。这提示我们，指定SCN可能用于初始加载后的数据同步，确保从正确的点开始复制。因此，我们可以总结如下：要配置Replicat进程从特定的SCN开始，有两种方式：-在创建Replicat时使用`ADD REPLICAT`命令并指定`STARTSCN`选项。-在Replicat参数文件中使用`STARTSCN`参数。但请注意，如果使用参数文件方式，并且Replicat已经存在，修改参数文件后需要重启Replicat进程。下面我们给出一个具体的示例：假设我们要创建一个名为`rep1`的Replicat进程，指定从SCN12345678开始，trail文件为`./dirdat/rt`，则命令如下：``` ADDREPLICAT rep1,EXTRAIL ./dirdat/rt,STARTSCN12345678```或者，在参数文件中设置： ```REPLICAT rep1ASSUMETARGETDEFSSTARTSCN12345678MAPschema1.*, TARGET schema2.*;```然后启动Replicat进程（如果尚未启动）。注意：在指定SCN之前，确保该SCN在trail文件中存在。如果指定的SCN在trail文件中不存在，Replicat进程可能会在启动时报错。此外，用户可能需要知道如何获取一个特定的SCN。通常，SCN可以从数据库的某些视图中查询（如`v$database`的`CURRENT_SCN`），或者在导出数据时指定SCN（如引用[2]中的`flashback_scn`参数）。引用[2]中展示了一个使用数据泵导出时指定SCN的例子，这可以用于创建一致性的数据快照。在GoldenGate中，初始加载时也可以使用类似的方法，然后从该SCN开始进行变化捕获和复制。因此，用户可能是在进行初始加载后，想要从加载时使用的SCN开始复制后续的变化，那么就需要在Replicat中指定这个SCN。最后，我们生成相关问题：</think>### Oracle GoldenGate 配置 Replicat 从特定 SCN 启动 在 Oracle GoldenGate 中配置 Replicat 进程从特定 SCN（System Change Number）启动，可通过以下步骤实现： #### 📌 方法 1：创建 Replicat 时指定 SCN（推荐） ```sql -- 在 GGSCI 命令行执行 ADD REPLICAT <进程名>, EXTRAIL <路径>, STARTSCN <SCN值> ``` **示例**： ``` ADD REPLICAT rep_sales, EXTRAIL ./dirdat/rt, STARTSCN 12345678 ``` 此命令会创建一个名为 `rep_sales` 的 Replicat 进程，从 SCN 12345678 开始处理事务[^3]。 #### 📌 方法 2：修改参数文件 在 Replicat 参数文件（`dirprm/<进程名>.prm`）中添加： ```sql STARTSCN <SCN值> ``` **示例**： ```sql REPLICAT rep_orders ASSUMETARGETDEFS STARTSCN 98765432 -- 指定起始 SCN MAP hr.*, TARGET hr_repl.*; ``` #### ⚠️ 关键注意事项 1. **SCN 有效性** - 指定的 SCN 必须存在于 Trail 文件中，否则 Replicat 会报错 `SCN NOT FOUND` - 可通过 `logdump` 工具验证 Trail 文件中的 SCN 范围： ``` logdump> open ./dirdat/rt000001 logdump> detail data ``` 2. **进程启动顺序** - 首次启动时需使用 `START REPLICAT <进程名>` 激活进程 - 修改参数文件后需重启进程：`STOP REPLICAT <进程名>` → `START REPLICAT <进程名>` 3. **与初始加载配合** 若需确保数据一致性（如初始加载后增量同步）： - 初始加载时使用 `flashback_scn`（如引用[2]所示） - 配置 Replicat 的 `STARTSCN` 与加载 SCN 一致[^3] 4. **高可用场景** 若主库故障转移（如引用[1]所述）： - 在新节点启动 Replicat 前需重新指定 SCN - 需确保新节点能访问相同 Trail 文件 #### 🌰 典型应用场景 - **数据迁移**：从指定 SCN 开始复制，确保迁移点一致性 - **故障恢复**：跳过已处理事务，从故障点 SCN 恢复 - **数据审计**：从特定时间点 SCN 重放事务 > ⚠️ **重要提示**：SCN 指定需精确匹配数据库状态，错误 SCN 可能导致数据丢失或重复。建议先在测试环境验证。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值