OGG 使用def文件同步遇到的一个小问题

最新推荐文章于 2023-12-22 14:15:01 发布
原创 最新推荐文章于 2023-12-22 14:15:01 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨使用OGG进行大规模数据迁移时遇到的问题，特别是在处理数千张表时，发现def文件数量影响迁移成功率，通过调整策略及使用assumetargetdefs参数解决难题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用OGG进行数据迁移
源端：
        Oracle 10.2.0.4 
        Goldgengate 11.1.1.0.0
目标端：
        Oracle 11.2.0.4 
        Goldgengate 12.2.0.1.1

还是按照之前的方法，源端用defgen生成def文件传到目标端，入库使用sourcedef参数，不过遇到了一个小问题

这次源端抽取有4000张表，我把这4000张表生成的def放到目标端，然后开启目标端的入库进程后，入库进程不报错，但是复制没成功，也就是dat文件你看控制台输出的信息它已经apply了，但是实际上去目标库里查，数据没有变化

然后我测试一下，只生成一个表的def放到目标端去，重启入库进程，让目标端只同步一个表，这次数据就成功apply了。。

所以我怀疑这个def里表的数量会不会对这个def的使用有影响。。

抱着测试的心态 把prm里面表的数量 减到3000和2500，然后再把def传过去起服务，结果都不行
把prm里面表的数量 减到1，然后再把def传过去起服务，结果可以

因为在别的医院也用OGG迁移过，2500张表是肯定没问题的，所以是不是和版本有关系？i don't know..

由于OGG只是迁移使用，不需要长期维护，所以决定目标端映射不用sourcedef参数了，网上查了一下，在源端和目标端表同构时，可以使用assumetargetdefs，试了一下，可以使用！Perfect！

还想到了一种方法，就是把入库进程拆成多个，每个使用自己的小def(这个方法只是理论阶段，没有实践)

GoldenGate ogg进程参数说明
weixin_44161678的博客
12-11 705
查看所有进程状态info all#查看某个进程的状态#查看某个进程的详细信息#查看某个进程的抽数情况#启动进程#停止进程#查看报错信息#查看checkpoint信息。
【原创】OGG21.3 CENTOS配置ORACLE 19C ADG至KAFKA
xiaoyang1982的专栏
05-24 1266
GROUPTRANSOPS为以事务传输时，事务合并的单位，减少IO操作；GETUPDATEBEFORES ----12.3版本要加此参数，若不加，在普通update时，即便抽取进程加了GETUPDATEBEFORES等参数，kafka表中的被修改字段修改前的值也不会被写入，11G版本不需要此参数亦可，详情看后面实施过程遇到的错误列表。配置oracle的环境变量文件/home/oracle/.bash_profile里配置，为了怕出问题，我把OGG_HOME等环境变量在/etc/profile配置了一份。
ogg为什么需要def文件
huoshuyinhua的专栏
06-09 4105
在《GoldenGate企业级运维实战》一书中提到用defgen来生成def文件为rep进程使用。原话如下： "当源库与目标库类型不一样或者源端的表与目标端的表结构不相同时，数据定义文件是必须有的。"                                                              ----------------------《GoldenGate企业级
OGG的defgen工具使用
Kingsley's Blog
04-21 5743
目录defgen1.创建参数文件2.执行命令生成3.查看生成文件的内容总结 defgen 官网介绍链接：link. 要在目标端执行列映射和转换，请使用在源上生成的source-definitions文件将源定义提供给Replicat。 默认情况下，DEFGEN将定义文件本身写入本地操作系统的字符集中。如果满足以下条件，则可以在本地系统上创建定义文件并将其传输到远程系统，而不会出现与编码有关的任何问...
OGG 安全特性--加密trail文件
weixin_34336526的博客
09-12 843
GoldenGate软件已经被很多大型企业用于数据容灾。如果用作异地备份容灾，很多是需要通过租用公网的线路进行传输，而这些数据很多都是企业的机密，为了防止机密数据被***获取进而损害企业的利益，需要对GoldenGate的安全做一些增强。除了通过制定操作系统和数据库级别安全防范措施以外，还可以在GoldenGate层面来制定相应的安全策略。在本地可以通过加密trail文件和数...
OGG_GoldenGate数据表定义方式DEFGEN（案例）
weixin_34032827的博客
03-09 657
2014-03-09 Created By BaoXinjian 一、摘要 利用DEFGEN工具可以为源端和目标端表生成数据定义文件，当源库和目标库类型不一致时，或源端的表和目标端的表结构不一致时，数据定义文件时必须要有的 生成数据定义文件的步骤 Step1. 编辑defgen文件 Step2. 利用defgen工具生成defgen.prm文件 Step3. 将生成好的数据定义文件...
为什么要使用DEF文件？
diandian82的专栏
07-01 7307
 无论使用C语言或者C++语言来编写动态库，其编译器都会为每个函数甚至变量生成一个对应的修饰名（我是这样翻译的。原文是the decorated names），连接器将编译后的目标代码连接成DLL，其输出函数名或变量名依旧是编译后的修饰名。并且修饰名是与编译器相关的，也就是说你的源程序是C，生成的修饰名是一个样子；如果你的源程序是C++，则生成的修饰名是另一种样子。（关于修饰名的讨论，我将放在
oracle ogg00423,OGG-00423错误 | 信春哥，系统稳，闭眼上线不回滚！
weixin_35027170的博客
04-07 1130
在部署OGG的时候目标端REPLICAT进程异常终止。GGSCI (ycods1) 4> info allProgram Status Group Lag Time Since ChkptMANAGER RUNNINGREPLICAT ABENDED TREPLVA 00:00:00 04:25:45经...
【故障排除】：解决ASS字幕文件常见问题，快速修复字幕故障
![【故障排除】：解决ASS字幕文件常见问题，快速修复字幕故障]...接着，本文转向故障诊断与排除的理论和实践，详细讨论了同步问题、字体和编码问题以及视频播放器兼容性问题的诊断与解决。文章还探讨了通过脚本自动化
WAV文件批量处理：编写脚本，提升音频工作流程效率
本文系统地介绍了WAV文件的批量处理技术，从脚本语言的基础和WAV文件结构的解析出发，到脚本实现WAV文件批量处理的具体方法，再到WAV文件高级处理与优化技术，以及实战应用案例分析。文章详细阐述了脚本语言选择、...
TheoraConverter.NET OGG或OGV格式转换工具
09-09
TheoraConverter.NET是一款非常强大的格式转换工具，它可以把视频装换成为ogg格式或者ogv格式，是国内几乎所有的视频转换工具做不到的，如果你刚刚接触html5正在为ogg文件发愁，那就下载这个软件吧，我试过很好用才推荐给大家
ogg整理
xn881012的博客
11-06 693
OGG日常操作 1：查看源端进程状态 info 1E_NCTRC info 1E_NCTRC showch info 1E_NCTRC detail send 1E_NCTRC status SEND EXTRACT 3E_CIP, FORCESTOP 2：查看目标端进程状态 info replicat 1R_NCTRC detail stats 1r_NCTRC
OGG Defgen 使用方法
DW/BI专栏
10-23 8194
使用OGG抽取Oracle数据，有时 我们需要在Replication端设置SourceDefs属性，这样Replicat才能正确解析Trail流。OGG提供了defgen工具帮我们提取源端的表定义信息。 如果大家在启动Replication时遇到cannot find source definition这样的error，一般需要指定SourceDefs属性，该属性值对应表结构的定义文件，需要使
OGG的列映射和行过滤
congdiku5262的博客
05-24 1364
映射列 --表级列映射 使用colmap映射source/target 名字不相同的列，可配合data definition使用； 同extract/replicat分别配合table/map一起使用； Usedefau...
新增表的OGG同步/初始化数据
qq_40588579的博客
01-26 2037
环境： 源端-Oracle目标端-SQL server· 加v_exam_patient_rpt表的同步 1、捕获进程edit params extpa 参数文件中加v_exam_patient_rpt表 2、传输进程edit params pumpa 参数文件中加v_exam_patient_rpt表 3、登录数据库：dblogin userid stacs,password oracle add trandata stacs.v_exam_patient_rpt...
OGG常见报错代码及处理方法
weixin_44465878的博客
03-03 3986
OGG常见报错代码及处理方法
def文件的作用及相关操作
NCG951204的博客
08-28 6182
DEF介绍
OGG同步异构数据库-表字段变更重新读取异构文件测试验证
bing_yuan的博客
12-22 1144
override. 此参数的作用，ogg 进行元数据核对时，使用定义文件中的内容， 而不是使用OGG REPLICAT 默认的trail中的meta信息。没有此参数，replicat 进程 仍会默认读取trail中的meta信息，发现实际数据长度大于meta中定义的长度，就会报错。隔了一个多小时再次查看进程：竟然神奇般的可以了。目标端查看数据也确实同步过来了。但是def文件也没有重新定义，为啥就自动同步了呢？目标端再次查看，数据同步过来了。源端再次插入数据，测试验证。原字段信息：t_user。
在ORACLE 12C RAC 的DG库上搭建OGG
woailyoo0000的博客
04-03 2588
1. 查看rac节点是否有ASM的监听注册（双节点） su - oracle lsnrctl services 如果没有，需要用grid用户在$ORACLE_HOME/network/admin/listener.ora文件中添加静态注册，然后reload listener（双节点）： [grid@rac1 ~]$ vi listener.ora LISTENER=(DESCRIPT...
Invalid file handle.怎么解决
最新发布
04-03
<think>好的，用户遇到了“Invalid file handle”错误，需要解决这个问题。首先，我需要回忆一下这个错误的常见原因和解决方法。根据已有的引用和知识，可能的原因包括文件未正确关闭、权限问题、文件系统错误、软连接损坏或程序逻辑错误。 首先，检查文件是否正确打开和关闭。如果程序中有文件操作，比如打开文件后没有正确关闭，可能导致句柄泄漏。这时候应该确保所有打开的文件在操作完成后调用close()方法，或者使用with语句自动管理资源。引用[1]提到文件指针的漏洞，可能涉及到链表操作不当，所以正确的打开和关闭流程很重要。 接下来是权限问题。如果文件或目录的权限不足，可能导致无法访问，进而引发无效句柄错误。用户需要检查文件和目录的权限，使用chmod或chown调整。引用[3]中的例子是通过修改权限解决软连接问题，这也适用于权限不足的情况。 然后是文件系统错误。像引用[4]中的OGG错误可能与文件系统有关，运行fsck检查修复文件系统可能会有帮助。此外，检查文件路径是否正确，避免路径不存在或拼写错误，这也是常见的问题点。 软连接或硬连接损坏也是可能的原因。引用[3]中提到删除并重建软连接解决了问题，所以用户需要检查相关连接是否有效，必要时重新创建。 程序逻辑错误方面，比如在多线程或异步操作中错误地共享文件句柄，可能导致竞争条件。需要确保每个线程独立处理文件，或正确同步。同时，检查是否有其他地方意外关闭了文件句柄，导致后续操作失效。 最后，如果问题仍然存在，可以尝试重启应用程序或系统，释放被占用的句柄。在极端情况下，可能需要使用调试工具或日志来追踪句柄泄漏的位置，如引用[5]中的Python错误提示可能需要检查代码中的XPath表达式是否正确，但这里更相关的是文件操作部分。 综合以上思路，逐步排查每个可能的原因，用户应该能够定位并解决问题。需要提醒用户注意代码中的资源管理，尤其是在异常处理中确保文件正确关闭，避免泄漏。</think>### 解决"Invalid file handle"错误的步骤 #### 1. 检查文件操作流程 - **未正确关闭文件**是常见原因。确保所有文件操作都使用`close()`方法或`with`语句自动释放资源： ```python # 正确做法（自动关闭） with open("file.txt", "r") as f: content = f.read() # 错误做法（可能忘记关闭） f = open("file.txt", "r") content = f.read() # 必须手动调用 f.close() ``` 引用[1]提到文件指针漏洞可能因链表操作不当引发，正确关闭文件可避免句柄泄漏[^1]。 #### 2. 验证文件权限 - 使用`ls -l`命令检查文件权限： ```bash ls -l /path/to/file # 若权限不足，使用chmod调整 chmod 644 file.txt # 设置读写权限 ``` 引用[3]通过修改权限修复软连接问题，同理适用于文件访问权限[^3]。 #### 3. 检查文件路径有效性 - 验证路径是否存在拼写错误或非法字符： ```python if os.path.exists(file_path): with open(file_path, "r") as f: ... else: print("文件不存在") ``` 特别关注Windows系统路径分隔符`\`需要转义为`\\`或使用原始字符串`r"path"`。 #### 4. 排查文件系统错误 - 运行文件系统检查工具（需卸载分区后执行）： ```bash umount /dev/sda1 # 卸载分区 fsck -y /dev/sda1 # 自动修复错误 mount /dev/sda1 # 重新挂载 ``` 引用[4]中文件系统控制数据异常问题可通过类似方法解决[^4]。 #### 5. 修复软/硬连接 - 若涉及符号链接，检查链接目标是否有效： ```bash # 查看软连接指向 ls -l /path/to/link # 重新创建损坏的软连接 ln -sf /correct/target /path/to/link ``` 引用[3]通过重建软连接解决CUDA相关错误[^3]。 #### 6. 检查程序逻辑错误 - 在多线程/异步场景中，确保文件句柄不被共享： ```python # 错误示例（多线程共享句柄） global_file = open("data.log", "w") def thread_task(): global_file.write("test") # 可能引发竞争条件 # 正确做法（每个线程独立打开） def thread_task(): with open("data.log", "a") as f: # 使用追加模式 f.write("test") ``` #### 7. 重启与调试 - 临时解决方案：重启应用程序或操作系统，强制释放被占用的句柄。 - 高级调试：使用`lsof`命令查看进程打开的文件句柄： ```bash lsof -p <进程PID> # 查看特定进程的句柄 lsof /path/to/file # 查看占用文件的进程 ``` ### 典型错误场景与修复 | 场景描述 | 错误表现 | 修复方案 | |---------|---------|---------| | 未关闭文件 | 程序运行后句柄数持续增长 | 使用`with`语句或添加`finally`块关闭文件 | | 权限不足 | Permission denied日志 | 通过`chmod`或`chown`调整权限 | | 路径错误 | "No such file"异常 | 使用`os.path.abspath()`解析绝对路径 | | 软连接断裂 | 读取时返回ENOENT | 用`ln -sf`重建符号链接 | ### 扩展知识：文件句柄泄漏检测 - 在Linux系统中可通过`/proc/sys/fs/file-nr`查看系统级文件句柄使用情况： ```bash cat /proc/sys/fs/file-nr # 输出示例：7840 0 325386 # 分别表示：已分配句柄数/空闲句柄数/最大句柄数 ``` - 修改系统最大句柄数限制： ```bash ulimit -n 65535 # 临时修改 # 永久修改需编辑/etc/security/limits.conf ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值