Oracle资料之Sql Loader用法_.ctl infile options-优快云博客

本文介绍Oracle数据库中不同表间数据复制或迁移的方法，包括使用insert语句、dblink、exp/imp工具及SqlLoader等。重点阐述SqlLoader的使用方法、参数设置与控制文件编写技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

◆ 不同数据库的表的数据复制或迁移方法：

在 Oracle 数据库中，将在不同数据库的表的数据进行复制或迁移时，通常会用以下几种方法：

1. A表的记录导出为一条条分号隔开的insert语句，然后执行插入到B表中

2. 建立数据库间的dblink，然后用create table B as select * from A@dblink where ...，或insert into B select * from A@dblink where ...

3. exp A表，再imp到B表，exp时可加查询条件

4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交

5. 用Sql Loader(sqlldr) 来导入数据，效果比起逐条insert高很多（10w条1分钟内）

第1种方法在数据量很大时是个噩梦，需三五百条的分批提交（推荐不要超过5千条），否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into 的性能，就要下面那样做：

alter table B nologging;   
insert /* +APPEND */ into B(c1,c2) values(x,xx);   
insert /* +APPEND */ into B select * from A@dblink where .....;

◆ sqlldr的参数：

在命令行下执行 oracle 的 sqlldr 命令，可以看到它的详细参数说明，要重点关注以下几个参数：

★ userid：oracle 的 username/password[@servicename]
★ control：控制文件，可能包含表的数据
log：记录导入时的日志文件，默认为控制文件(去除扩展名).log
bad：坏数据文件，默认为 控制文件(去除扩展名).bad
data：数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作
errors：允许的错误记录数，可以用他来控制一条记录都不能错
rows：多少条记录提交一次，默认为 64
skip：跳过的行数，比如导出的数据文件前面几行是表头或其他描述

示例：

★ sqlldr userid=username/password@servicename control="user.ctl" log="user.log" bad="user.bad" skip=1

★ sqlldr userid=username/password@servicename control="user.ctl" log="user.log" rosw=10000 bindsize=8192000 parallel=true errors=10000

注：更多的 sqlldr 的参数说明请参考命令提示。

◆ 控制文件的两种使用方法：

1. 只使用一个控制文件，在这个控制文件中包含数据
2. 使用一个控制文件(作为模板) 和一个数据文件

一般为了利于模板和数据的分离，以及程序的不同分工会使用第二种方式。

示例：

--表users
create table users(   
    user_id number,           --用户 ID   
    user_name varchar2(50),   --用户名   
    login_times number,       --登陆次数   
    last_login date           --最后登录日期   
)  

--需插入的数据：
insert into users values(1,'Unmi',3,sysdate);   
insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));   
insert into users values(3,'隔叶黄莺 ',8,to_date('2009-01-02','YYYY-MM-DD'));   
insert into users values(4,'Kypfos',NULL,NULL);   
insert into users values(5,'不知秋 ',1,to_date('2008-12-23','YYYY-MM-DD'));

★ 使用一个控制文件(作为模板)和一个数据文件

1) 建立数据文件，我们这里用 PL/SQL Developer 导出表 users 的记录为 users_data.csv 文件，内容如下：

"   ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"   
"1","1","Unmi","3","2009-1-5 20:34:44"   
"2","2","","5","2008-10-15"   
"3","3","隔叶黄莺","8","2009-1-2"   
"4","4","Kypfos","",""   
"5","5","不知秋","1","2008-12-23"

2) 建立一个控制文件 users.ctl，内容如下：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1用来跳过数据中的第一行。
LOAD DATA   
INFILE "users_data.csv" --指定外部数据文件，可以写多 个 INFILE "another_data_file.csv" --指定多个数据文件   
--这里还可以使 用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件，   
truncate --操作类型，用truncate table来清除表中原有记录   
INTO TABLE users --要插入记录的表   
Fields terminated by "," -- 数据中每行记录用 "," 分隔   
Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起，比如字段中有 "," 分隔符时   
trailing nullcols --表的字段没有对应的值时允许为空   
(   
  virtual_column FILLER, --这是一个虚拟字段，用来跳过由PL/SQL Developer生成的第一列序号   
  user_id number, --字段可以指定类型，否则认为是CHARACTER类型,log文件中有显示   
  user_name,   
  login_times,   
  last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相当用to_date()函数转换   
)

说明：在操作类型truncate位置可用以下中的一值：

1) insert     --为缺省方式，在数据装载开始时要求表为空
2) append     --在表中追加新记录
3) replace    --删除旧记录(用 delete from table 语句)，替换成新装载的记录
4) truncate   --删除旧记录(用 truncate table 语句)，替换成新装载的记录

3) 执行命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

执行完 sqlldr 后可以留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解 Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。

★ 只使用一个控制文件，在这个控制文件中包含数据。

1) 把数据内容补到 users.ctl 中，并以 BEGINDATA 连接，还要把INFILE写成INFILE *。

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行  
LOAD DATA  
INFILE *  -- 因为数据同控制文件在一 起，所以用 * 表示  
append    -- 这里用了append 来操作，在表 users 中附加记录   
INTO TABLE users  
when LOGIN_TIMES<>'8'  -- 还可以用when子句选择导入符合条件的记录  
Fields terminated by ","  
trailing nullcols  
(  
  virtual_column FILLER, --跳过由PL/SQL Developer生成的第一列序号  
  user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值  
  user_name "'Hi '||upper(:user_name)",--还能用SQL函数或运算对数据进行加工处理  
  login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符  
  last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL  
)  
BEGINDATA --数据从这里开始  
   ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN  
1,1,Unmi,3,2009-1-5 20:34  
2,2,Fantasia,5,2008-10-15  
3,3,隔叶黄 莺,8,2009-1-2  
4,4,Kypfos,NULL,NULL  
5,5,不知 秋,1,2008-12-23

2) 执行一样的命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

在控制台会显示这样的信息：

C:\>sqlldr dbuser/dbpass@dbservice control=users.ctl
SQL*Loader: Release 9.2.0.1.0 - Production on 星期三 1月 7 22:26:25 2009

Copyright (c) 1982, 2002, Oracle Corporation.  All rights reserved.

达到提交点，逻辑记录计数4
达到提交点，逻辑记录计数5

◆ Sql Loader的数据文件：

数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL Developer 或者 Toad 导出，也可以用 SQL *Plus 的spool 格式化产出，或是 UTL_FILE 包生成。另外，用 Toad 还能直接生成包含数据的控制文件。

◆ SQL *Loader 的性能与并发操作

1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS 参数来指定每次提交记录数。

2）常规导入可以通过使用 INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。

3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要 alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。

4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.

  sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true   
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true   
  sqlldr   userid=/   control=result2.ctl   direct=true   parallel=true

当加载大量数据时（大约超过10GB），最好抑制日志的产生：