Unload data from oracle

Unload data from oracle

前面说了oracle加载数据的工具:sqlload,利用direct和parallel及unrecoverable等参数，我们可以很快速的导入数据到db中，对于unload数据，oracle提供的工具就是spool命令，结合一些set命令，这个工具可以实现一些基本的unload功能，但实用性和速度均不是非常理想，知名网友d.c.b.a提供 的sqluldr，c语言开发，利用OCI接口和oracle交互，可以支持常用的字段分隔符，实际测试下来，速度比spool快了30%以上，很好很强大.

利用spool unload 数据

Spool.txt 内容

set feedback off pagesize 0  heading off echo off  termout off

spool c:\spoolfile.txt

Select /*+ parallel(a 16) */ sessionid||chr(9)||marketingsource||chr(9)||mktkeyword||chr(9)||validkey From incoming_fact Partition(incoming_par_20090427) a Inner Join trafficsource_dimension b

On a.trafficsourcekey=b.trafficsourcekey

And a.websitekey=12

--And b.traffictype='SEM'

--  And substr(lpad(localtimekey,6,0),1,2)=03

And to_char(starttime,'hh24')<=04

And to_char(starttime,'hh24')>=02

And validkey>=0;

spool off

 

16:47:56 SQL> @c:\spool.txt

16:52:04 SQL>

 

利用sqluldr unload同样的数据

 

C:\>ociuldr user=trketl/TrackING_1@dw sql=c:\sqlfile.txt field=0x09 file=c:\wokao.csv

 

       0 rows exported at 2009-05-08 16:54:40

   15468 rows exported at 2009-05-08 16:58:09

         output file c:\wokao.csv closed at 15468 rows.

 

速度比spool快了30%以上(db放在us,通过远程网络，从us unload数据到sh)

 

关于sqluldr的信息: http://www.anysql.net/ociuldr.html,其中可以下载这个工具，也可以下载源代码.

 

此外，也可以利用utl_file包，开发upload程序，不过这需要directory支持，这就导致unload的文件也是存储在db server上，这就有点不安全和不方便了.给出一段google来的代码，需要的话可以按自己的需求去修改。

create or replace function unload_csv( p_query     in varchar2,
                                      p_separator in varchar2
                                                    default ',',
                                      p_dir       in varchar2 ,
                                      p_filename  in varchar2 )
return number
AUTHID CURRENT_USER
is
    l_output        utl_file.file_type;
    l_theCursor     integer default dbms_sql.open_cursor;
    l_columnValue   varchar2(2000);
    l_status        integer;
    l_colCnt        number default 0;
    l_separator     varchar2(10) default '';
    l_cnt           number default 0;
begin
    l_output := utl_file.fopen( p_dir, p_filename, 'w' );

    dbms_sql.parse(  l_theCursor,  p_query, dbms_sql.native );

    for i in 1 .. 255 loop
        begin
            dbms_sql.define_column( l_theCursor, i,
                                    l_columnValue, 2000 );
            l_colCnt := i;
        exception
            when others then
                if ( sqlcode = -1007 ) then exit;
                else
                    raise;
                end if;
        end;
    end loop;

    dbms_sql.define_column( l_theCursor, 1, l_columnValue,
                            2000 );

    l_status := dbms_sql.execute(l_theCursor);

    loop
        exit when ( dbms_sql.fetch_rows(l_theCursor) <= 0 );
        l_separator := '';
        for i in 1 .. l_colCnt loop
            dbms_sql.column_value( l_theCursor, i,
                                   l_columnValue );
            utl_file.put( l_output, l_separator ||
                                    l_columnValue );
            l_separator := p_separator;
        end loop;
        utl_file.new_line( l_output );
        l_cnt := l_cnt+1;
    end loop;
    dbms_sql.close_cursor(l_theCursor);

    utl_file.fclose( l_output );
    return l_cnt;
end unload_csv;

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/10159839/viewspace-594559/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/10159839/viewspace-594559/