sqlldr的用法

最新推荐文章于 2019-04-18 16:43:47 发布

崔世勋

最新推荐文章于 2019-04-18 16:43:47 发布

阅读量5.1k

点赞数

分类专栏：数据库系统

数据库系统专栏收录该内容

98 篇文章

订阅专栏

在Oracle数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法：

（1）A表的记录导出为一条条分隔开的insert语句，然后执行插入到B表中。

这种方法在记录多时是个噩梦，需要三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。

（2）建立数据库间的dblink，然后用create table B as select * from A@dblink where ...或

insert from A@dblink where ...
（3）exp A表，再imp到B表，exp时可加查询条件
（4）程序实现select from A ..., 然后insert into B ...，也要分批提交
（5）再就是Sql Loader(sqlldr)来导入数据，效果比起逐条insert来很明显。

在命令下执行Oracle的sqlldr命令，可以看到它的详细参数说明，要着重关注以下几个参数：

userid：Oracle的username/password[@servicename]
control：控制文件，可能包含表的数据
log：记录导入时的日志文件，默认控制文件（去除扩展名）.log
bad：坏数据文件，默认为控制文件（去除扩展名）.bad
data：数据文件，一般在控制文件中指定。用参数控制文件中不指定数据谁的更适于自动操作。
error：允许的错误记录数，可以用他来控制一条记录都不能错。
rows：多少条记录提交一次，默认为64
skip：跳过的行数，比如导出的数据文件前面几行是表头或其他描述。

sqlldr的使用，有两种方法：

（1）只使用一个控制文件，在这个控制文件中包含数据。

（2）使用一个控制文件（作为模板）和一个数据文件

一般为了利于模板和数据的分离，以及程序的不同分工会使用第二种方式，的以先来看看这种用法。数据文件可以是csv文件或者以其他分割符分隔的，数据文件可以用PL/SQL Developer 或者Toad导出，也可以SQL Plus的spool格式化产出，或是UTL_FILE包生成。另外，用Toad还能直接生成包含数据的控制文件。

首先，假定有这么一个表users，并插入五条记录：

create table users(  
    user_id number,           --用户 ID  
    user_name varchar2(50),   --用户名  
    login_times number,       --登陆次数  
    last_login date           --最后登录日期  
)

insert into users values(1,'Unmi',3,sysdate);  
insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));  
insert into users values(3,'隔叶黄莺 ',8,to_date('2009-01-02','YYYY-MM-DD'));  
insert into users values(4,'Kypfos',NULL,NULL);  
insert into users values(5,'不知秋 ',1,to_date('2008-12-23','YYYY-MM-DD'));

使用一个控制文件和一个数据文件

（1）建立数据文件，这里用PL/SQL 导出表users的记录为users_data.csv，内容如下：

"   ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"  
"1","1","Unmi","3","2009-1-5 20:34:44"  
"2","2","","5","2008-10-15"  
"3","3","隔叶黄莺","8","2009-1-2"  
"4","4","Kypfos","",""  
"5","5","不知秋","1","2008-12-23"

（2）建立一个控制文件users.ctl，内容如下：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行  
LOAD DATA  
INFILE "users_data.csv" --指定外部数据文件，可以写多 个 INFILE "another_data_file.csv" 指定多个数据文件  
--这里还可以使 用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件，  
truncate --操作类型，用 truncate table 来清除表中原有 记录  
INTO TABLE users -- 要插入记录的表  
Fields terminated by "," -- 数据中每行记录用 "," 分隔  
Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起，比如字段中有 "," 分隔符时  
trailing nullcols --表的字段没有对应的值时允 许为空  
(  
  virtual_column FILLER, --这是一个虚拟字段，用来跳 过由 PL/SQL Developer 生成的第一列序号  
  user_id number, --字段可以指定类型，否则认 为是 CHARACTER 类型, log 文件中有显示  
  user_name,  
  login_times,  
  last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相当用 to_date() 函数转换  
)

说明：在操作类型truncate位置可用以下中的一个值：

1）insert：为缺省方式，在数据装载开始时要求表为空

2）append：在表中追加新记录

3）replace：删除旧记录（用delete from table语句），替换成新装载的记录

4）truncate：删除旧记录（用truncate table语句），替换成新装载的记录

执行命令：

sqlldr dbuser/dbpass@dbservice control=users.ctl

在执行完sqlldr后希望能留意一下生成的几个文件，如users.log日志文件、users.bad坏数据文件等。特别是日志文件，从中可让你更好的理解sql loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等待。

如果只使用一个控制文件，在这个控制文件中包含数据，把users_data.cvs中的内容补充到users.ctl中，并以BEGINDATA连接，还要把INFILE "users_data.cvs"改为INFILE *。完整的users.ctl文件内容是：

OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的 选项可以写到这里边来,skip=1 用来跳过数据中的第一行  
LOAD DATA  
INFILE *  -- 因为数据同控制文件在一 起，所以用 * 表示  
append    -- 这里用 了 append 来操作，在表 users 中附加记录   
INTO TABLE users  
when LOGIN_TIMES<>'8'  -- 还可以用 when 子 句选择导入符合条件的记录  
Fields terminated by ","  
trailing nullcols  
(  
  virtual_column FILLER, --跳过 由 PL/SQL Developer 生成的第一列序号  
  user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值  
  user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理  
  login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符  
  last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL  
)  
BEGINDATA --数据从这里开始  
   ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN  
1,1,Unmi,3,2009-1-5 20:34  
2,2,Fantasia,5,2008-10-15  
3,3,隔叶黄 莺,8,2009-1-2  
4,4,Kypfos,NULL,NULL  
5,5,不知 秋,1,2008-12-23

最后说下有关SQL Loader的性能与并发操作

（1）ROWS的默认值为64，你可以根据实际指定更合适的ROWS参数来指定每次提交记录数。

（2）常规导入可以通过使用INSERT语句来导入数据。Direct导入可以啵过数据库的相关逻辑（DIRECT=TRUE），而直接将数据导入到数据文件中，可以提高导入数据的性能。当然，在很多情况下，不能使用此参数。

（3）通过指UNRECOVERABLE选项，可以关闭数据库的日志，这个选项必须与direct一起使用。

（4）对于超大数据文件的导入就要用并发操作，即同时运行多个导入任务。

 sqlldr   userid=/   control=result1.ctl   direct=true   parallel=true

最后欢迎大家访问我的个人网站：1024s