深入了解Oracle GoldenGate Studio及其监控代理的配置与使用
1. 配置Oracle GoldenGate监控代理
在创建Oracle GoldenGate监控代理后,需要为其分配密码,该密码将存储在钱包中,以便在启动时按需检索。此密码还用于允许Oracle GoldenGate Studio和Oracle Enterprise Manager 12c或13c连接到GoldenGate环境。
1.1 更新代理配置
Oracle GoldenGate监控代理有两种运行模式,分别用于Oracle GoldenGate监控服务器和Oracle Enterprise Manager 12c或13c,这由
$AGENT_HOME/cfg
目录下的
Config.properties
文件中的设置控制。
当使用监控代理与Oracle GoldenGate Studio配合时,需要更新
Config.properties
文件中的一些属性,具体如下表所示:
| 属性 | 定义 |
| ---- | ---- |
| Jagent.host | 值可以设置为默认值、主机名或JAgent运行的IP地址 |
| Jagent.username | 设置为JAgent的用户名 |
| Jagent.rmi.port | 使用默认端口或更改为特定端口 |
| Agent.type.enabled | 设置为
OGGMON
或
OEM
|
| Jagent.backward.compatibility | 设置为
false
|
| Jagent.ssl | 设置为
false
|
编辑
Config.properties
文件后,其值可能如下所示:
Jagent.host=localhost
Jagent.username=oracle
Jagent.rmi.port=5559
Agent.type.enabled=OEM
Jagent.backware.compatibility=false
Jagent.ssh=fasle
保存
Config.properties
文件后,就可以为代理分配密码。当通过
GLOBALS
文件启用GoldenGate监控时,这些信息将用于启动JAgent。
1.2 为代理实例分配密码
为了让外部资源能够访问代理提供的信息,需要为代理分配密码。可以通过执行
$AGENT_HOME/ogg_agent/bin
目录下的
pw_agent_util.sh
脚本来完成此操作,示例如下:
oracle@fred.acme.com:/u01/app/oracle/product/12.2.1.0/jagent/ogg_agent/bin >./pw_agent_util.sh -jagentonly
Please create a password for Java Agent: ********
Please confirm password for Java Agent: ********
Jan 23, 2016 10:49:38 PM oracle.security.jps.JpsStartup start
INFO: Jps initializing.
Jan 23, 2016 10:49:38 PM oracle.security.jps.JpsStartup start
INFO: Jps started.
Wallet is created successfully.
1.3 启用GoldenGate监控
在
Config.properties
文件中完成所有设置并为JAgent设置好密码后,需要在Oracle GoldenGate中启用监控。具体操作是将
ENABLEMONITORING
参数添加到
$OGG_HOME
目录下的
GLOBALS
文件中。添加该参数后,退出GGSCI并重新启动,此时应该能看到JAgent的条目,示例如下:
GGSCI (fred.acme.com) 3> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
JAGENT RUNNING
EXTRACT RUNNING EGG12C 00:00:10 00:00:04
Description 'Integrated Extract'
EXTRACT RUNNING PGG12C 00:00:00 00:00:09
Description 'Data Pump'
启动JAgent后,可以通过检查后台进程来确认JAgent是否使用正确的属性文件启动。JAgent运行后,就可以使用Oracle GoldenGate Studio、Oracle Enterprise Manager 12c或13c以及Oracle GoldenGate Monitor与GoldenGate环境进行交互。
注意 :Java 8(jdk1.8.0_51)是与JAgent配合使用的最佳Java版本。
2. 使用Oracle GoldenGate Studio设计环境
在安装并配置好Oracle GoldenGate Studio后,需要了解如何使用该工具。使用Oracle GoldenGate Studio设计环境的过程包括以下五个基本组件,它们构成了Oracle GoldenGate Studio设计流程的生命周期:
- 创建资源
- 创建项目
- 创建解决方案
- 创建部署计划
- 创建映射
这个设计流程可以看作是一个循环过程,会根据架构的规划不断重复。
2.1 创建资源
安装好Oracle GoldenGate Studio、创建好存储库并安装好相关的Oracle管理代理(JAgent)后,就可以开始构建定义GoldenGate架构的项目。首先需要定义架构中使用的资源,这些资源包括数据库、Oracle GoldenGate实例以及可能使用的全局映射。
打开Oracle GoldenGate Studio后,在界面右侧可以看到“Resources”选项卡,这里可以定义架构中使用的资源。打开该选项卡后,会看到一个名为“Global Resource Library”的区域,在Oracle GoldenGate Studio中定义的所有资源都可以在所有项目中使用。
要创建资源,可以使用看起来像带有加号的文件夹的图标,这是创建资源的上下文菜单。打开上下文菜单后,会看到一个子菜单,提供了三种全局资源选项:数据库、全局映射组和GoldenGate实例。
-
定义数据库资源
:数据库资源是连接到Oracle GoldenGate架构中要使用的数据库。Oracle GoldenGate Studio允许将这些数据库定义为资源,并通过拖放界面在设计视图中与它们进行交互。具体操作步骤如下:
1. 打开“Resources”选项卡。
2. 从“Global Resource Library”中选择“Database”。
3. 选择“Database”选项后,Oracle GoldenGate Studio会打开一个对话框,在其中提供连接到数据库所需的所有信息,包括名称、连接类型、用户名、密码、用户角色和连接信息。
4. 提供完所有信息后,可以测试数据库的连接设置。
5. 如果测试连接成功,点击“OK”,数据库将显示在“Resources”选项卡上。
数据库资源下列出的项目将在后续的映射过程中使用,可以根据需要创建任意数量的数据库资源。
-
定义GoldenGate实例资源
:另一个需要创建的关键资源是GoldenGate实例资源,该资源与Oracle GoldenGate监控代理进行交互。创建GoldenGate实例资源的步骤与创建数据库资源类似:
1. 在“Resources”选项卡上选择“GoldenGate Instance”。
2. 选择“GoldenGate Instance”会打开一个对话框,用于添加新的GoldenGate实例。该对话框有很多字段,许多值与Config.properties文件相关。
3. 对话框允许为正在处理的实例提供自定义名称和描述。在“Host Information”部分,提供GoldenGate实例运行的主机名;在“Oracle GoldenGate Information”部分,提供环境的所有连接信息。
4. 在“Oracle GoldenGate Information”部分,前两个字段是下拉框,用于选择GoldenGate实例的版本和运行的数据库版本。接下来,提供GoldenGate端口号,该端口号是在启动GoldenGate Manager进程时分配的。该部分的最后三个字段与JAgent本身有关,所需信息可以在Config.properties文件中找到。“Agent Username”和“Agent Port”的值在Config.properties文件中,但“Password”值必须在配置期间在钱包中设置。
5. 提供完这些信息后,可以进行测试以验证实例是否连接到JAgent。连接测试成功并点击“OK”后,创建的GoldenGate实例将显示在“Resources”选项卡上。
可以根据需要创建任意数量的GoldenGate实例资源,这些资源具有全局性质,将在配置架构的其他部分时使用。
2.2 创建项目
创建好Oracle GoldenGate资源后,就可以开始构建Oracle GoldenGate环境。在Oracle GoldenGate Studio中,每个环境都从定义一个项目开始,项目是一个逻辑容器,用于将不同的环境分开。
要开始构建项目,打开Oracle GoldenGate Studio中的“Projects”选项卡,该选项卡是主要选项卡之一,默认可见。在“Projects”选项卡上,会看到一个空的下拉框,创建项目后将显示项目名称,并且可以在多个项目之间切换。下拉框右侧是一系列彩色框,这是创建项目所需命令的上下文菜单,再右侧是刷新图标。
点击上下文菜单旁边的小箭头,会出现上下文菜单。由于此时工作室中没有任何项目,菜单上有很多选项不可用,可用的两个选项是创建新项目和导入项目。
创建新项目的步骤如下:
1. 从上下文菜单中选择“New Project”。
2. 选择后,会打开一个对话框,允许为项目命名。
3. 对话框中有一个复选框,如果选中,点击“OK”时会打开解决方案向导。可以选择保留复选框选中状态并启动解决方案向导,或者清除该复选框仅创建项目。
创建项目后,“Projects”选项卡上的下拉框将显示正在处理的项目名称,点击周围会发现上下文菜单已更改,提供了之前不可用的项目操作选项,例如打开项目、复制项目、删除或导出项目等。
2.3 创建解决方案
解决方案是Oracle GoldenGate Studio生命周期的下一步。有了项目后,解决方案是Oracle GoldenGate Studio项目的内部框架,用于存储项目的映射和部署计划。进入解决方案向导的过程与创建项目的过程非常相似。
在“Projects”选项卡上,有一个小的红色拼图图标,这表示解决方案上下文菜单。在解决方案上下文菜单上,可以选择创建新解决方案或导入解决方案。要创建新解决方案,操作步骤如下:
1. 选择创建新解决方案,Oracle GoldenGate Studio会打开一个两步向导。
2. 在向导的第一步,为解决方案提供名称和描述。
3. 提供完名称和描述后,向导进入下一步,在这一步可以为GoldenGate实现选择基本架构,目前Oracle GoldenGate Studio提供三种基本架构:
- 单向
- 双向
- 中心辐射型
注意 :这一步中有一个复选框,如果选中,解决方案创建完成后会进入部署配置文件向导。
退出解决方案向导后,Oracle GoldenGate Studio会更新“Projects”选项卡,显示与项目关联的解决方案,并且会在工作室的主区域显示GoldenGate架构的初始渲染图。创建解决方案后,可以查看相关信息,设计视图中数据库实例的名称可以根据需要更改。在生命周期的后续阶段,会将这些对象分配给资源。只要处于设计视图中,就可以向设计中添加组件并构建Oracle GoldenGate架构。
注意 :解决方案构建完成后会打开“Components”选项卡,该选项卡通常在“Projects”选项卡旁边打开。
2.4 创建映射
生命周期的下一步是创建要在Oracle GoldenGate环境中使用的映射。映射是告诉Oracle GoldenGate捕获哪些数据以及如何将其映射到环境目标端的工具。Oracle GoldenGate Studio允许创建两种不同类型的映射:全局映射和本地映射。每种类型的映射功能相同,区别在于全局映射可以在项目的任何地方存储和使用,而本地映射特定于一组对象。
-
定义全局映射
:全局映射组在“Resources”选项卡上定义,与之前创建资源的方式类似。具体步骤如下:
1. 从“Global Resource Library”上下文菜单中选择“Global Mapping Group”。
2. 选择该选项后,Oracle GoldenGate Studio会打开一个对话框,允许为全局映射组命名。
3. 命名全局映射后,“Resources”选项卡会更新,显示带有提供名称的映射条目。
4. 双击该条目,Oracle GoldenGate Studio会在主设计区域打开一个新选项卡,开始处理映射。
以上就是使用Oracle GoldenGate Studio设计环境的详细步骤,通过这些步骤可以逐步构建和管理Oracle GoldenGate架构。
深入了解Oracle GoldenGate Studio及其监控代理的配置与使用(续)
2.5 创建部署计划(补充)
部署计划是将设计好的解决方案实际部署到目标环境的详细规划。在创建好解决方案之后,就需要制定部署计划来确保各个组件能够正确地在目标环境中运行。
在Oracle GoldenGate Studio中创建部署计划的步骤如下:
1. 打开之前创建好的解决方案。在“Projects”选项卡中找到对应的解决方案并打开。
2. 进入部署计划创建界面。通常在解决方案的相关操作菜单中会有“创建部署计划”的选项。
3. 定义部署目标。明确要将解决方案部署到哪些具体的环境,包括目标数据库、GoldenGate实例等。这需要参考之前创建的资源信息,选择合适的目标资源。
4. 配置部署参数。根据目标环境的特点和需求,设置部署过程中的各种参数,如部署顺序、并发度、错误处理策略等。
5. 预览部署计划。在正式执行部署之前,先预览部署计划,检查是否存在冲突或不合理的地方。可以查看部署步骤的详细信息,确保每个步骤都符合预期。
6. 执行部署计划。确认部署计划无误后,点击执行按钮,开始将解决方案部署到目标环境。在部署过程中,可以实时查看部署进度和日志信息,以便及时发现和解决问题。
部署计划的创建需要综合考虑目标环境的实际情况和解决方案的设计要求,确保部署过程的顺利进行。
2.6 不同类型映射的详细应用
在前面提到了全局映射和本地映射的定义方式,下面进一步介绍它们在实际设计架构中的应用。
-
全局映射的应用场景 :全局映射适用于多个项目或多个解决方案中都需要使用相同数据映射规则的情况。例如,在一个大型企业的多个业务系统中,都需要将某些特定的数据字段从源数据库映射到目标数据库的相同字段上,这时就可以使用全局映射。通过创建一个全局映射组,并在其中定义好映射规则,就可以在不同的项目中直接引用这个全局映射组,避免了重复定义映射规则的麻烦。
-
本地映射的应用场景 :本地映射则更适用于特定项目或特定解决方案中的特殊数据映射需求。比如,某个项目中有一些独特的数据处理逻辑,需要对某些数据进行特殊的映射转换,而这些映射规则只在这个项目中使用,不会在其他项目中复用,这时就可以使用本地映射。本地映射可以根据具体项目的需求进行灵活定制,而不会影响到其他项目。
在设计架构时,可以根据实际情况合理选择使用全局映射和本地映射,或者将两者结合使用,以满足不同的业务需求。
3. 总结与流程梳理
整个使用Oracle GoldenGate Studio设计和部署环境的过程可以用以下流程图来表示:
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
A([开始]):::startend --> B(安装Oracle GoldenGate Studio):::process
B --> C(创建存储库):::process
C --> D(安装Oracle管理代理JAgent):::process
D --> E(配置JAgent):::process
E --> F(创建资源):::process
F --> G(创建项目):::process
G --> H(创建解决方案):::process
H --> I(创建映射):::process
I --> J(创建部署计划):::process
J --> K(执行部署计划):::process
K --> L([结束]):::startend
这个流程图清晰地展示了从安装Oracle GoldenGate Studio开始,到最终完成环境部署的整个过程。每个步骤都紧密相连,前一个步骤的完成是后一个步骤的基础。
在实际操作中,需要严格按照这个流程进行,确保每个步骤都正确完成。例如,在创建资源时,要确保数据库和GoldenGate实例等资源的连接信息准确无误;在创建解决方案时,要根据实际业务需求选择合适的架构;在创建部署计划时,要充分考虑目标环境的特点和限制。
通过合理使用Oracle GoldenGate Studio,并按照正确的流程进行操作,可以高效地设计、部署和管理Oracle GoldenGate环境,满足企业的数据集成和同步需求。同时,不断总结经验,根据实际情况对流程和配置进行优化,能够进一步提高系统的性能和稳定性。
总之,Oracle GoldenGate Studio为企业提供了一个强大而便捷的工具,帮助企业更好地管理和利用数据,实现数据的高效流动和共享。通过深入了解其功能和使用方法,并结合实际业务需求进行灵活应用,企业可以在数据管理领域取得更好的效果。
超级会员免费看
34

被折叠的 条评论
为什么被折叠?



