SSIS操作MSSQL的千万级数据导入到Oracle数据库

最新推荐文章于 2023-09-18 11:55:59 发布

xiongshao1943

最新推荐文章于 2023-09-18 11:55:59 发布

阅读量2.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： MSSQL Oracle 文章标签： ssis sql server oracle 数据库

本文链接：https://blog.youkuaiyun.com/xiongshao1943/article/details/47041571

本文介绍了三种将千万级别的数据从SQL Server导入Oracle的方法。第一种方法通过触发器和INSERT INTO OPENQUERY，但可能效率较低。第二种方法利用临时表和MSSQL的数据导出导入功能，但由于事务处理可能导致回滚风险。最后，第三种方法通过SSIS工具，结合OLE源和查找组件优化数据导入，提高效率，能在8到9小时内完成2千万数据的导入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提：服务器配置8G内存，安装Oralce 11G数据库，MSSQL2008 R2数据库（服务没启动）

客户机配置8G内存，安装MSSQL2008 R2数据库，数据从客户机导入到服务器。SSIS在服务器上面运行

问题：将MSSQL的历史表与当前表数据导入到Oracle数据库，数据量大于1千万

注：

1.历史表与当前表的主键ID（代理键）可能重复

2..Oracle是用序列生成主键ID（代理健），导入到Oracle后的ID可以跟以前表的ID不一样

方法1：在Oracle数据库的ID上建立触发器使ID自增（类似于MSSQL的IDENTITY列），然后在MSSQL建立链接服务器到Oracle库，然后经过INSERT INTO　OPENQUERY() SELECT ... FROM t1 UNION ALL SELECT ... FROM t2来进行插入数据。

个人感觉这种方法执行完看不到数据转移的过程，不够直观，数量到达千万级别，要等很久（可能超过半天），关键是等了很久不知道是否失败还是成功。可以加以改进的地方就是在某级可以分段字段上面进行分段，分几次批量插入，而不是一次性插入，可以不用等那么久。不管怎么说，我都不推荐这种方法，毕竟数量这么多。还是一点就是触发器可能会影响插入数据的速度（未测）。

方法2：不用在Oracle建触发器，但必需在MSSQL多做一些工作，具体的话：建一个（Tmp_Oracle)与要插入Oracle的表一样，然后设置将其ID设置成IDENTITY列，然后可以直接在MSSQL库上将历史表与当前表数据导入到Tmp_Oracle表中，这几千万数据导入到这个表中还是很快，大概就是5到8分钟的过程（视电脑配置不同而定）。然后用MSSQL提供的数据导出导入功能。配置相应要复制数据源及目的地数据源，然后对应查询结果集要映射到Oracle表中，虽然在最后那边可以看到导入行的进度行，但我发现这个包竟然是一个事务，那边显示导入了几十W条数据竟然在数据库无法查询，万一失败不是就回滚了，我晕，而且速度也不快。果断放弃了

方法3：是在方法2的基本上进行改进。只是不再用