35、数据库迁移与Exadata云服务管理指南

数据库迁移与Exadata云服务管理指南

1. 启动OGG泵和复制进程

当在本地虚拟机上启动了DIPC远程代理,本地与DIPC虚拟机之间的SSH代理隧道已启动,DIPC虚拟机上的管理器进程正常运行,且目标数据已导入后,就可以开始相关操作。需要注意的是,OGG捕获进程不依赖SOCKS5代理,而泵进程在传输数据前需要与DIPC虚拟机建立安全连接,所以要先启动SSH隧道和DIPC虚拟机上的管理器进程。

接下来可以在本地服务器上启动泵进程,在DIPC虚拟机上启动复制进程,并验证一些复制场景,如插入、更新和删除操作。

本地操作代码

cd $GGHOME
ggsci> start pdwh

DIPC虚拟机操作代码

cd $GGHOME
ggsci> start rdwh
2. 验证数据复制

在实际场景中,源和目标都有数据源,便于验证复制情况。可以在源和目标上创建表结构,执行一些DML操作,通过查询目标并检查统计信息来验证。

创建表结构

create table lineorder (cust_id number, ord_id number, ord_qty number, ord_date date, status varchar2(10), primary key (ord_id));

执行DML操作

insert into lineorder values (1001, 3000005, 1000, sysdate,'CNF');
commit;
--check in target
update lineorder set ord_qty=1000 where ord_id=3000005;
commit;
--check in target
delete lineorder where ord_id=3000005;
commit;
--check in target
3. 收集OGG进程统计信息

可以运行以下命令检查OGG进程的统计信息。

本地命令

cd $GGHOME
ggsci> dblogin useridalias oggsrc
ggsci> lag edwh
ggsci> stats edwh,total,hourly,latest,reset, table opdwh.dipcsrc.lineorder
ggsci> stats edwh reportrate min table opdwh.dipcsrc.lineorder
ggsci> lag pdwh
ggsci> stats pdwh,total,hourly,latest,reset, table opdwh.dipcsrc.lineorder
ggsci> stats pdwh reportrate min, table opdwh.dipcsrc.lineorder
ggsci> view report, edwh
ggsci> view report, pdwh

DIPC虚拟机命令

cd $GGHOME
ggsci>stats rdwh,total,hourly,latest,reset ,table exadb.dipctgt.LINEORDER
ggsci>stats rdwh reportrate min, table exadb.dipctgt.LINEORDER
ggsci>view report, rdwh
4. 数据复制配置总结

通过DIPC进行从本地到Oracle云数据库(DBCS/ExaCS)的数据复制配置是一种有效的方法,尤其适用于处理不同数据库版本、不同云环境和不同数据库版本的迁移。DIPC还支持通过数据同步任务进行初始数据同步,需要从远程代理到DIPC主机建立VPN连接,因为初始加载任务是通过DIPC主机上的ODI功能完成的。

5. Exadata云服务管理概述

Exadata云服务环境的管理涉及多个方面,Oracle企业管理器(OEM)可用于监控和管理Exadata云组件。在ExaCS中,Oracle负责更新和修补用户无法访问的Exadata系统组件,如Exadata存储服务器、集成灯光管理(ILOM)、电源分配单元(PDUs)、网络交换机和物理数据库服务器(Dom 0)。而用户则负责在收到通知后,对数据库服务器(Dom U)、操作系统、网格基础设施软件和Oracle RDBMS软件进行修补和更新。

6. 云自动化和Enterprise Manager可执行任务
任务类型 云自动化可执行任务 Enterprise Manager可执行任务
数据库操作 控制数据库在节点上的启动、停止、重启;管理节点的SSH访问;数据库创建和删除操作;数据库备份和恢复操作;数据库快照创建和删除任务;数据库修补;ASM磁盘组操作 监控和管理ASM存储;数据库作业创建和调度;资源管理;数据库功能使用和合规性跟踪;数据库模式操作;使用诊断、调优和实时应用测试(RAT)进行数据库性能管理;数据库内存配置和操作
7. Exadata云服务上的代理部署

代理部署过程可能因部署模型而异,理想情况下有两种不同的模型:一种是不通过VPN到云服务的混合云代理安装,另一种是通过VPN进行代理部署。

部署时需要考虑以下问题:
- OMS应能够解析计算实例的完全限定域名(FQDN),可通过在OMS服务器的 /etc/hosts 文件中添加计算节点的FQDN来实现。
- 最好将OMS服务器的FQDN/IP地址添加到云VM实例中,以避免名称解析问题。
- 需要在EM控制台主机上准备SSH公钥和私钥,用于发现云实例。
- 获取ASM、SCAN名称和数据库账户(理想情况下是具有所需权限的DBSNMP)的密码,用于目标发现,并确保代理通信的端口开放。
- 确保计算VM上有足够的磁盘空间,通常代理部署需要约1GB的空间,并检查文档中的先决条件,确定保存二进制文件的挂载点和目录权限。

8. 创建凭证
  • 创建oracle用户的命名凭证
    1. 导航到“Setup ➤ Security ➤ Named Credentials”。
    2. 点击“Create”并提供名称。
    3. 确保“Authenticating Target Type”设置为“Host”。
    4. 对于凭证类型,选择“SSH key”。
    5. 将“Scope”设置为“global”。
    6. 通过浏览并从保存位置上传VM的SSH私钥并打开。
    7. 不指定任何运行权限。
    8. 保存配置并忽略主机未发现的警告。
  • 创建opc用户的凭证 :步骤与创建oracle用户的凭证相同,除了需要选择“Sudo”作为运行权限,并在“Run as”中输入“root”,因为opc用户在OCI中预配的任何云计算VM上具有sudo访问root以及oracle、grid操作系统账户的权限。
9. 部署Oracle Enterprise Manager Cloud Control代理

在完成先决步骤后,可以在ExaCS计算节点上部署OEM Cloud Control代理。

使用VPN在ExaCS上进行标准代理部署步骤
1. 确保OMS和代理通信的端口通过安全规则开放并启用。
2. 在尝试部署代理之前,确保OMS与ExaCS计算实例之间的名称解析正常工作。
3. 导航到“Setup ➤ Add Target ➤ Add Target Manually”。
4. 选择在主机上安装代理并点击“Add”。
5. 输入ExaCS上计算节点的FQDN或IP地址,并选择“Linux x86_64”作为平台。假设OMS安装在Linux主机上,会有适用于“Linux x86_64”的代理。如果OMS运行在其他操作系统上,在尝试部署之前确保有所需的代理二进制文件。点击“Next”。
6. 指定安装目录,选择oracle的命名凭证以及根凭证(根凭证将使用之前配置的opc用户)。
7. 选择部署端口并点击“Next”。
8. 审核所有输入后,点击“Deploy Agent”。部署可能需要15到30分钟,可以从OEM控制台查看进度。

通过以上步骤,可以完成Exadata云服务上的代理部署,从而利用OEM Cloud Control管理集群、ASM、数据库性能等。

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B(启动DIPC远程代理):::process
    B --> C(启动SSH代理隧道):::process
    C --> D(启动DIPC虚拟机管理器进程):::process
    D --> E{目标数据是否导入}:::decision
    E -- 是 --> F(启动本地泵进程和DIPC虚拟机复制进程):::process
    F --> G(验证数据复制场景):::process
    G --> H(收集OGG进程统计信息):::process
    H --> I(考虑Exadata云服务管理):::process
    I --> J(判断代理部署模型):::decision
    J -- 混合云代理安装 --> K(不通过VPN安装代理):::process
    J -- 通过VPN部署 --> L(通过VPN部署代理):::process
    K --> M(创建凭证):::process
    L --> M
    M --> N(部署OEM Cloud Control代理):::process
    N --> O([结束]):::startend
    E -- 否 --> P(导入目标数据):::process
    P --> F

数据库迁移与Exadata云服务管理指南

10. 数据库迁移与Exadata云服务管理的关键要点回顾

在数据库迁移和Exadata云服务管理过程中,有几个关键要点需要再次强调:
- 数据复制 :使用DIPC进行数据复制时,要确保SSH隧道和管理器进程正常运行,通过验证不同的复制场景(插入、更新、删除)来保证数据的准确同步。同时,定期收集OGG进程的统计信息,以便监控复制的性能和状态。
- ExaCS管理职责 :明确Oracle和用户在ExaCS环境中的职责分工,Oracle负责底层系统组件的更新和修补,用户则专注于数据库服务器、操作系统等的维护。
- 代理部署 :在ExaCS上部署代理时,要考虑多种因素,如名称解析、SSH密钥、磁盘空间等,并按照正确的步骤创建凭证和部署代理。

11. 常见问题及解决方案
问题描述 解决方案
数据复制失败 检查SSH隧道是否正常,管理器进程是否运行,以及目标数据是否正确导入。查看OGG进程的日志文件,排查错误信息。
代理部署失败 确认OMS和代理通信的端口是否开放,名称解析是否正常。检查凭证是否正确创建,磁盘空间是否充足。
数据库更新和修补问题 及时关注Oracle推送的更新通知,按照标准的Exadata工具和技术进行操作。在更新前,最好向Oracle提交主动服务请求。
12. 未来趋势与展望

随着云计算和数据库技术的不断发展,数据库迁移和Exadata云服务管理也将面临新的挑战和机遇。未来可能会出现更自动化、智能化的管理工具,进一步简化操作流程,提高管理效率。同时,数据安全和隐私保护将成为更加重要的关注点,需要不断加强技术手段和管理措施。

13. 总结

数据库迁移到Exadata云服务是一个复杂而重要的过程,涉及到多个环节和技术。通过合理配置数据复制、明确管理职责、正确部署代理等操作,可以确保数据库的顺利迁移和高效运行。同时,要关注常见问题的解决方案,以及未来技术的发展趋势,不断提升自身的管理能力和技术水平。

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B(回顾数据复制要点):::process
    B --> C(明确ExaCS管理职责):::process
    C --> D(检查代理部署情况):::process
    D --> E{是否存在问题}:::decision
    E -- 是 --> F(查找常见问题解决方案):::process
    F --> G(解决问题):::process
    G --> H(关注未来趋势):::process
    H --> I([结束]):::startend
    E -- 否 --> H

通过以上的总结和分析,希望能够帮助读者更好地理解和掌握数据库迁移与Exadata云服务管理的相关知识和技能,在实际应用中取得更好的效果。

【电能质量扰动】基于ML和DWT的电能质量扰动分类方法研究(Matlab实现)内容概要:本文研究了一种基于机器学习(ML)和离散小波变换(DWT)的电能质量扰动分类方法,并提供了Matlab实现方案。首先利用DWT对电能质量信号进行多尺度分解,提取信号的时频域特征,有效捕捉电压暂降、暂升、中断、谐波、闪变等常见扰动的关键信息;随后结合机器学习分类器(如SVM、BP神经网络等)对提取的特征进行训练分类,实现对不同类型扰动的自动识别准确区分。该方法充分发挥DWT在信号去噪特征提取方面的优势,结合ML强大的模式识别能力,提升了分类精度鲁棒性,具有较强的实用价值。; 适合人群:电气工程、自动化、电力系统及其自动化等相关专业的研究生、科研人员及从事电能质量监测分析的工程技术人员;具备一定的信号处理基础和Matlab编程能力者更佳。; 使用场景及目标:①应用于智能电网中的电能质量在线监测系统,实现扰动类型的自动识别;②作为高校或科研机构在信号处理、模式识别、电力系统分析等课程的教学案例或科研实验平台;③目标是提高电能质量扰动分类的准确性效率,为后续的电能治理设备保护提供决策依据。; 阅读建议:建议读者结合Matlab代码深入理解DWT的实现过程特征提取步骤,重点关注小波基选择、分解层数设定及特征向量构造对分类性能的影响,并尝试对比不同机器学习模型的分类效果,以全面掌握该方法的核心技术要点。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值