
数据迁移
Demonson
桃李春风一杯酒,江湖夜雨十年灯。
展开
-
mysql快速导出导入脚本,修改库名和所有者,实现快速迁移
背景开发库迁移部署时,需要部署的库越来越多,部署是需要统一修改目标库名称,根绝创建用户统一修改存储过程所有者,所以此脚本在于快速解决这一问题脚本vim imex.sh#!/bin/sh#导入环境变量PATH=/usr/local/mysql/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/bin:/sbin:~/binexport PATH#备份路径和需要备份数据库的记录文件BACKUP_PATH='/opt/原创 2021-07-07 19:19:54 · 318 阅读 · 0 评论 -
impdp导入数据没有反应,疑似卡住
impdp命令执行数据导入操作,执行后一直卡在此界面无反应,没有报错,表空间正常,请问是什么原因这种情况应该不是卡住了,而是因为导入表太大,oracle读取备份时间太长,没有实时显示读取进度,而产生卡住的错觉;你可以用dba用户查看视图:select * from dba_datapump_jobs;state字段为executing状态则证明impdp正在导入;找到其中的job_name;该任务名应该就是现在正在执行导入的任务名,然后attach到impdp里面查看status进度,要原创 2020-05-11 16:08:00 · 11345 阅读 · 2 评论 -
imp-00003 遇到oracle错误959
IMP-00003: 遇到 ORACLE 错误 959ORA-00959: 表空间 'XXXXXXXXXXX' 不存在。今天有个需求:需要从一个用户导15张表到另一个用户,数据挺大,就选在用exp/imp工具,简单方便;由于表空间两个用户默认不同,所以加了参数ignore=y,以便能成功导入;imp ***/*** ignore=y tables(***) file=E:\bak\tab...原创 2018-04-09 17:08:36 · 6101 阅读 · 1 评论 -
Oracle sqlldr的用法 (这个最完整)
在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法:1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中2. 建立数据库间的 dblink,然后用 create tableB as select * fromA@dblinkwhere ...,或 insert intoB select * fromA@dbli...转载 2018-03-27 14:03:34 · 59505 阅读 · 6 评论 -
linux下ibdata文件过大,需要迁移mysql目录到外挂磁盘
前几个月发布了新项目,服务器是10G磁盘A+50G外挂磁盘B,使用yum安装的mysql,默认是装在A盘的,运行一段时间后,发现A盘的磁盘使用率已达到80%,仔细查了一番发现ibdata文件以每天50M的速度在增加,按照这个速度,用不了一个月A盘就满了,会导致mysql停止的;网上查了一些mysql目录迁移的办法,拿出来分享一下:第一种办法(简单):使用linux下的软连接方法,具体操作如下:...转载 2018-04-04 12:47:02 · 413 阅读 · 0 评论 -
mysql Xtrabackup介绍
大数据量备份与还原,始终是个难点。当MYSQL超10G,用mysqldump来导出就比较慢了。在这里推荐xtrabackup,这个工具比mysqldump要快很多。一、Xtrabackup介绍1、Xtrabackup是什么Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。Xtrabac...转载 2018-04-13 03:25:57 · 191 阅读 · 0 评论 -
Oracle impdp/expdp 使用详解
大部分是转的,各种,记录下。EXPDP 可以导出所有数据库的数据,只要它能连接到这个数据库,或者它登录的数据库上能读取到被导出的库的数据,因为此时可以通过数据库链来读取被导出的库的数据。http://zalbb.itpub.net/post/980/395955 a. 创建到服务端的dblink create database link link_name connect to usernam...原创 2018-04-13 15:44:35 · 24559 阅读 · 1 评论 -
Remap_table、remap_tablespace、tables在impdp关于只导特定表的注意事项
remap_table、remap_tablespace多组对象转换的话,每组对象之间用逗号隔开 tables多张表时,每张表之间用逗号隔开 Remap_tablespace如果需要转换多个表空间,如A1转换成B1,A2转换成B1,有如下两种方式 remap_tablespace=A1:B1 remap_tablespace=A2:B1 remap_tablespace= A1:B1, A2:...转载 2018-05-18 14:23:24 · 5151 阅读 · 0 评论 -
表空间(数据文件shrink)收缩示例
正常的数据库管理中会碰到空间不足的情况,一些表空间因为总的磁盘空间有限影响了其正常的扩展,但还有些表空间空余空间很大却不能分给别的表空间使用,这里进行一个表空间的收缩测试。以收缩数据文件方式为例,吧数据文件里空余的空间shrink出来给磁盘,供其他表空间扩展使用。参考http://www.oracleonlinux.cn/2011/05/25/10g_rac_shrink_tablespace/h...转载 2018-05-30 10:01:41 · 1017 阅读 · 0 评论 -
Oracle物化视图with rowid和with primary key区别
本文主要谈及以下两种物化视图的应用:1、用于分布式环境里的物化视图,例如master table在A库,B库通过dblink创建了一个指向A库taba的物化视图mvb: create materialized view mvb ... as select * from taba@link_a,连接B库的应用不必通过link_a远程访问A库上的taba表,只需访问本地的mvb表,提高了访问效率,mv...转载 2018-08-06 11:09:36 · 2641 阅读 · 0 评论 -
Oracle物化视图快速刷新、多表连接、聚集
仅以此文感谢YangTingKun 同学:)有物化视图的问题都找他。起因是夺表连接的聚集SQL无法继续优化,反应时间几秒左右,buffer gets&cpu成本等还很高;加上还需要频繁执行。好在是,相关的表不是经常更新,只是查询频繁。正好适合物化视图。select count(*)from mos m, attributes a, mo_attributes ma, clas...转载 2018-08-06 11:58:36 · 3882 阅读 · 4 评论 -
Windows MSVCR120.DLL 安装mysql时遇到“无法启动此程序,计算机丢失MSVCR120.DLL”的问题
因为缺少支撑软件,我是在win2008R64 上安装mysql的,因为新安装的操作系统,所以缺少Microsoft Visual C++ 2013 Redistributable Package (x86、x64)下载地址:windows_vcredist_2013_x64...原创 2018-08-22 16:49:36 · 1273 阅读 · 0 评论 -
oracle data guard配置dg_broker
https://community.oracle.com/docs/DOC-1007327本文主要包括以下内容: 1. 配置dg broker,需要完成以下几个工作:在主备库配置静态监听注册,注册的服务名为db_unique_name_DGMGRL; 在主备库修改tnsnames.ora文件,配置别名; 主备库都开启dg_broker_start参数; 在主库注册broke...转载 2018-10-18 14:29:57 · 384 阅读 · 0 评论 -
Informatica 初学日记全
1. INFORMATICA CLIENT的使用1.1 Repository Manager 的使用1.1.1 创建Repository。前提:a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev)b. 要在你要连接的数据库中新建一个用户(例:name: ETL password: ETL)现在你可以创建一个Repository了...转载 2018-11-23 18:05:30 · 686 阅读 · 0 评论 -
MOS】关于在不同版本和平台之间进行还原或复制的常见问题 (文档 ID 1526162.1)--跨版本恢复
Questions and Answers 1) 我能用更高版本的 Oracle 还原或复制旧版本的数据库吗? 2) 我能在两个不同的补丁程序集之间进行还原或复制吗? 3) 我能在同一操作系统的不同版本之间进行还原或复制吗? 4) Oracle 的位(bit)级别(32 位或 64 位)不匹配时,可以进行还原或复制吗? 5) 可以将更高版本的备份还原到较早版...转载 2018-12-13 10:04:03 · 1367 阅读 · 0 评论 -
Informatica Update更新逻辑机制优先顺序详解
Informatica 作为ETL工具,Update是其很重要的一个特性。也正因为如此,我们会发现在Informatica工具的很多地方都会有Update的相关设置,许多时候给大家都造成了很大的迷惑,不知道谁先谁后,谁的优先级高,或者具体的作用是什么,希望能借此文给大家一个清晰的概念。 Informatica 的Update过程简单说,就是给每条数据设置一个Delete,Inser...原创 2018-12-06 13:01:29 · 2199 阅读 · 2 评论 -
Oracle 流复制(Stream Replication)
Stream 是Oracle 的消息队列(也叫Oracle Advanced Queue)技术的一种扩展应用。 Oracle 的消息队列是通过发布/订阅的方式来解决事件管理。流复制(Stream replication)只是基于它的一个数据共享技术,也可以被用作一个可灵活定制的高可用性方案。 它可以实现两个数据库之间数据库级,schema级,Table级的数据同步,并且这种同步可以是双向的。 Or...原创 2018-03-27 09:58:10 · 2745 阅读 · 0 评论 -
Oracle 复制功能:Dataguard、Streams Replication和Advanced Replication区别
Oracle备份功能包括:高级复制(Advanced Replication)流复制(Streams Replication)备库(Dataguard)一 dataguard:dataguard在高可用及容灾方面一般是dba的首选,毕竟dataguard在这方面 存在压倒性的优势,不管是物理备用库(physical standby database)还是逻辑备用库(logical standby ...原创 2018-03-27 09:42:53 · 617 阅读 · 0 评论 -
Oracle 中deferred_segment_creation 的用法以及exp时解决办法
show">SYS@ORCL>show parameter segmentNAME TYPE VALUE------------------------------------ ----------- ------------------------------deferred_segment_creatio原创 2014-09-19 15:55:43 · 14932 阅读 · 0 评论 -
Oracle 使用 RMAN 复制数据库
1.使用 RMAN 创建数据库副本使用 RMAN 的 DUPLICATE 命令可根据目标数据库备份创建数据库副本。创建数据库副本:1.创建辅助实例的 Oracle 口令文件。 2.建立到辅助实例的 Oracle Net 连接。 3.创建辅助实例的初始化参数文件。 4.在 NOMOUNT 模式下启动辅助实例。 5.装载或打开目标数据库。 6.确保备份和归档原创 2014-10-10 09:46:49 · 1388 阅读 · 0 评论 -
Oracle 表空间时间点恢复 (TSPITR)
表空间时间点恢复 (TSPITR):概念:通过执行 TSPITR 可将一个或多个表空间快速恢复到以前的某个时间。 执行 TSPITR 并不影响数据库中其它表空间或对象的状态。术语:目标时间:表空间恢复到的时间点或 SCN 恢复集:组成要恢复的表空间的数据文件 辅助集:对恢复集执行 TSPITR 时所必需的,但不属于恢复集的数据文件。辅助集通常包括: SYST原创 2014-10-10 10:38:57 · 807 阅读 · 0 评论 -
Oracle 灾难恢复以及11g新特性恢复指导
实验: 数据库灾难恢复(数据文件、控制文件、参数文件、归档文件等丢失)法一:利用冷备法二:RMAN恢复及11g新特性(list/advise/repair failure,create spfile from memory)1.配置catalog数据库1)catalog目录库:创建大文件表空间、用户、授权create bigfile tablespace rc_data原创 2014-10-16 16:12:08 · 2061 阅读 · 0 评论 -
Oracle DG主备切换VIP
在做DG主备切换时,为使应用端在不修改连接配置的情况下,正常连接DG数据库,方法有几种;一是,应用端连接主机为主机名,可以通过域名解析调整实现;二是,应用端连接主机为IP, 通过设置VIP(手动配置或者f5等集群工具)三是,应用端连接主机为IP,直接修改主机IP 本文为通过手动配置VIP的形式实现DG主备切换对应用透明;以下是配置过程:1. Primary转载 2018-02-05 13:04:26 · 3061 阅读 · 0 评论 -
oracle11G使用DGbroker创建dg
1.环境: a.主机环境:centos6.5 b.软件环境:oracle 11.2.0.4 c.主机信息: DG1:192.168.100.51(数据库sid:atest) DG2:192.168.100.522.前提工作(主从都要设置): a.关闭防火墙:/etc/init.d/iptables stop b.关闭seli转载 2018-02-05 13:14:56 · 457 阅读 · 0 评论 -
ORACLE之搭建DG(RMAN Duplicate方式)
目录(?)[+]1.准备工作 首先得准备两个能够PING通,并且装了Oracle软件且已经建库的Linux虚拟机。操作系统不限,至少有一个虚拟机已经建好库,最好两个都建好相同SID的库,这样少很多创建目录的麻烦,这里库的SID都是orcl,Linux严格区分大小写,所以SID的大小写得注意。 我这里有两个名为PD和ST的Linux虚拟机。原创 2018-02-07 10:28:44 · 929 阅读 · 0 评论 -
ORACLE之搭建DG(ADG方式)
目录(?)[+]1.准备工作 首先得准备两个能够PING通,并且装了Oracle软件且已经建库的Linux虚拟机。操作系统不限,至少有一个虚拟机已经建好库,最好两个都建好相同SID的库,这样少很多创建目录的麻烦,这里库的SID都是orcl,Linux严格区分大小写,所以SID的大小写得注意。 我这里有两个名为PD和ST的Linux虚拟机。原创 2018-02-07 10:32:24 · 1554 阅读 · 0 评论 -
Windows系统下Oracle自动备份数据库,删除历史备份数据
方法步骤: 1.创建备份目录d:\backup, 创建批处理命令Bak.bat,编写备份脚本 。 2.创建任务计划程序触发器。 具体实现:@echo off echo ================================================ echo Windows环境下Oracle数据库的自动备份脚本 echo 1. 使...原创 2018-03-01 17:42:22 · 1054 阅读 · 0 评论 -
Oracle 物化视图
一、物化视图的一般用法物化视图是一种特殊的物理表,“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性大,任何对视图的查询,Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高,并没有实质上的好处。1、物化视图的类型ON DEMAND、ON COMMIT。二者的区别在于刷新方法的不同,ON DEMAND顾名思义,仅在该物化视图“需要”被刷...原创 2018-03-22 15:57:46 · 333 阅读 · 0 评论 -
exp导出出现:ORA-00904: "POLTYP": invalid identifier 导出规则
《exp导出出现:ORA-00904: : invalid identifier》:http://blog.itpub.net/23135684/viewspace-1336722/ exp导出老是出现ORA-00904: "POLTYP": invalid identifier可能有两个原因:1).服务器和客户端一个是x86bit的,一个是x86_64bit的安装程序。2).客户端和服务...原创 2018-03-23 12:36:42 · 3989 阅读 · 0 评论 -
如何统计ORACLE某用户的表的数据量
---收集用户表信息begindbms_utility.analyze_schema('AIRPORTRISK','COMPUTE');end;--查看用户表信息select t.table_name,t.num_rows,t.blocks,t.empty_blocksfrom user_tables t;--查看总数据量select count(blocks) * 8 /1024 SUM_M ...原创 2018-03-20 09:03:16 · 12241 阅读 · 0 评论 -
ETL抽取工具informatica powercenter designer实例
一、 安装配置安装好Informatica首先,需配置一下修改配置文件路径为地址:C:\Windows\System32\drivers\etc将“10.10.23.112 BIEE”复制到后面。(注:第二个ip地址哪里,要在hots文件加一个配置二、 创建域新建一个域名称:Domain_BIEE地址:10.10.23.112 端口:6005 登录的账号密码...原创 2018-03-21 13:59:25 · 4462 阅读 · 0 评论 -
Oracle物化视图的一般使用
有个项目因为有比较多的查询汇总,考虑到速度,所以使用了物化视图。简单的把用到的给整理了下。 先看简单创建语句:create materialized view mv_materialized_test refresh force on demand start with sysdate nextto_date(concat(to_char( sysdate+1,'d...原创 2018-03-22 11:34:37 · 6519 阅读 · 0 评论 -
mysql关于innodb_data_file_path设置
innodb_data_file_path用来指定innodb tablespace文件,如果我们不在My.cnf文件中指定innodb_data_home_dir和innodb_data_file_path那么默认会在datadir目录下创建ibdata1 作为innodb tablespace。5.6.6之后 两个参数的默认值如下:show variables like 'innodb_dat...转载 2018-04-09 11:01:37 · 16215 阅读 · 0 评论 -
Oracle数据迁移
今天看了Oracle数据迁移这一块内容原创 2014-09-21 00:22:27 · 517 阅读 · 0 评论