ODI如何通过logminer技术从oracle 数据库中抽取增量数据（一）

最新推荐文章于 2022-05-26 22:24:52 发布
最新推荐文章于 2022-05-26 22:24:52 发布
阅读量2.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： ORACLE_ODI、OWB 文章标签： oracle 数据库 数据仓库 schema stream 扩展
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/outget1/article/details/4571991
本文介绍了ODI从Oracle数据库抽取增量数据的方法，特别是通过LOGMINER技术的Oracle 9i/10g/11gConsistent方式。这种方式在不影响源系统性能的情况下，基于online redo log捕获变化数据，适合数据仓库系统。文章还对比了Simple和Consistent方式，并讨论了触发器的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近做的几个项目，都碰到了ODI从oracle9i或者10g数据库中抽取增量数据的情况，那么ODI如何从数据库中抽取增量数据呢，ODI针对Oracle数据库的抽取，提供了3类知识模块：

Oracle Simple

Oracle Consistent

Oracle 9i/10g/11gConsistent (LOGMINER)

Simple方式一般是针对数据库中需要增量复制的表之间没有主外键约束的情况，在这种方式下，表之间的先后复

最低0.47元/天 解锁文章

200万优质内容无限畅学
oracle间视图增量同步,ODI数据增量同步
weixin_29696799的博客
04-16 1049
背景最近在项目上开始使用ODI，需求是要将一个库中的表同步到另一个库中这里可以使用ODI Studio的CDC方式进行同步数据，但CDC方式需要在表上建trigger，会对表的性能造成影响，所以该方案被否掉了，基于lastupdatedate的CDC同步虽然可以部分避免性能损失问题，但这种方式需要表中的lastupdatedate对任何数据更新都有相应变化，对于一些老系统难以实现，使用IKM SQ...
OracleCDC数据增量抽取
JAVASoftEngineer的博客
09-29 1188
OracleCDC数据增量抽取详解
ODI如何通过logminer技术从oracle 9i或者10g中抽取增量数据（三）
oracel数据库、数据仓库、JAVA开发的专栏
09-21 1896
启动designer，创建一个项目，我们这里就叫CDC，如下图所示：右键点击项目名称，选择import->import knowledge module进入$ODI_INSTALL/oracledi/impexp/目录，然后选择JKM Oracle10gconsistent（logminer），如果您的数据库是9i或者11g，请选择对应的选项，这里假设源数据库为10g。
ODI如何通过logminer技术从oracle_数据库中抽取增量数据
02-24
ODI如何通过logminer技术从oracle_数据库中抽取增量数据
转基于BCV 和LogMiner 实现增量数据抽取的应用
coupiaoze1188的博客
08-14 369
计算 机 系 统 应 用 2010 年第 19 卷第 4 期192 经验交流 Experiences Exchange基于BCV 和LogMiner 实现增量数据抽取的应用①杨从法 1 宋兴彬 2 (1.淄博市国家税务局信息中心...
ODI增量刷新
数据服务、数据仓库、数据分析、大数据
07-01 1390
增量更新策略：通过一个“update key”比较流数据记录与目标表中的记录比较进行数据整合。具有相同“update key”的记录当相关联列不同时将被更新；在目标表中不存在的记录将被插入。这种方式用来操作记录的变化不需要记录的时候。 IKM使用面向SQL编程的方法而不是通过逐行记录比较的方法来比较记录的不同。这种策略最常用的方法为把转换后的数据整合到I$表中，步骤： ①创建I$表，增加一
ODI如何通过logminer创新发展从oracle数据库中抽取增量数据.pdf
06-01
ODI 通过 LogMiner 从 Oracle 数据库中抽取增量数据 本文主要介绍了使用 ODI 通过 ...ODI 通过 LogMiner 技术从 Oracle 数据库中抽取增量数据是一个非常实用的方法，对生产系统的影响很小，且可以满足实时变化的需求。
"ODI利用logminer技术从Oracle数据库中提取增量数据的方法探讨
ODI通过logminer技术从Oracle数据库中抽取增量数据是一项创新的发展。在最近的项目中，许多情况下都涉及到了ODI从Oracle9i或10g数据库中抽取增量数据的问题。那么，具体来说，ODI如何从数据库中抽取增量数据呢？ODI...
ODI利用Logminer技术高效抽取Oracle数据库增量数据
总结来说，ODI通过结合LogMiner技术，提供了高效且精确的Oracle数据库增量数据抽取方案，这在大数据处理和企业级数据集成场景中具有重要作用。理解并熟练运用这些组件和步骤，能够帮助企业实现数据的有效管理和集成...
Oracle LogMiner
03-16
Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 重作日志文件（归档日志文件）中的具体内容，特别是，该工具可以分析出所有对于数据库操作的DML（insert、update、delete等）语句，另外还可分析得到一些必要的回滚SQL语句。该工具特别适用于调试、审计或者回退某个特定的事务。
oracle日志分析工具LogMiner使用
01-24
oracle日志分析工具LogMiner使用
ODI从oracle到oracle,ODI如何通过logminer技术从oracle 数据库中抽取增量数据（二）
weixin_39576018的博客
04-03 284
在中通过logminer方式进行变化数据捕捉，需要首先做一些基本工作：1.修改数据库启动参数：alter system set global_names=TRUE scope=BOTH;(如果您的系统里有dblink也可以不修改，到时候修改ODI的也可以)。alter system set job_queue_processes=6 scope=BOTH;alter system set open...
cdc logminer实现oracle增量
nengm1988的博客
05-26 1288
场景：现场库到前置库 思考1：使用触发器？ 1、侵入性解决方案 2、需要时各种配置，不需要时又是各种配置 Change Data Capture：捕捉变化的数据，通过日志监测并捕获数据库的变动（包括数据或数据表的插入，更新，删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中或者通过其他途径分发出去。 与触发器相比，通过日志监控的好处： 1、对原库基本无侵入性，不需要像触发器一样，对原库进行操作。 2、可以针对整库或者库中的表进行监控，比触发器更加灵活高效，避免监控表比较多的情况的
ODI通过logminer技术从oracle 数据库中抽取增量数据1
bbqk9的专栏
10-19 2134
最近做的几个项目，都碰到了ODI从oracle9i或者10g数据库中抽取增量数据的情况，那么ODI如何从数据库中抽取增量数据呢，ODI针对Oracle数据库的抽取，提供了3类知识模块： Oracle Simple Oracle Consistent Oracle 9i/10g/11gConsistent (LOGMINER) Simple方式一般是针对数据库中需要增量复制的表之间没有主外键约束的情况，在这种方式下，表之间的先后复制关系没有影响。但如果表之间有主外键对照关系，采用sim
odi 配置
数据服务、数据仓库、数据分析、大数据
07-01 1138
Create Master Repository Create an Oracle User to Host Master Repository create user snpm identified by snpm; grant connect, resource to snpm; Create Master Repository * Open "Master Reposi
Oracle 补充日志分类和相关操作， logminer cdc实时同步数据变化，提取归档日志进行数据挖掘，相关代码实现
热门推荐
不是一枚开发
07-02 5万+
logminer解析归档日志
OCI 简介
changyanmanman的专栏
10-09 5312
文章整理自网络： oci - 简介        OCI（Oracle Call Interface）是ORACLE公司开发的一个应用程序开发工具，是一个通过访问Oracle数据库的服务器，控制各类SQL语句的执行，进而创建应用程序的的应用程序接口（API）。它支持SQL所有的数据定义，数据操作，查询，事务管理等操作，支持C和C++的数据类型，调用，语法和语义。它提供了一组可对Or
ODI数据抽取教程_01设置数据源
大漠风沙落日的博客
09-23 7544
根据前面的环境搭建步骤，ODI的环境已经搭建完成，代理也配置成功。 现在开始学习数据抽取的步骤。第一步：设置抽取的数据源和目标数据源1、 首先要有两个数据库，一个是提供源数据的数据库，可以是ODI的支持的任意类型，sqlserver、oracle、mysql、hive均可以，此处以Orale为例，目标数据库也为Oracle，后续将写一下如何抽取MongoDB数据库的数据。2、新建数据服务器。此处主
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值