oracle copy 与postgresql copy

先介绍oracle copy，其实这个命令我到现在都没用过，也是做数据迁移的命令，注意这个命令是SQL*PLUS的命令，不是oracle的，通过这个命令可以在不同的表之间移动数据

1.基本语法：

COPY {FROM database | TO database | FROM database TO database} {APPEND|CREATE|INSERT|REPLACE} destination_table [(column, column, column, ...)] USING query

a)database：username/password@dbname

from database|to database可以任选一，缺少的一方默认使用当前sqlplus登录的数据库代替。

b)query：普通的select语句，多行时行尾使用连字符’-‘换行标记

支持的数据类型：CHAR,DATE,LONG,NUMBER,VARCHAR2

copy data把sqlplus作为数据流的管道，不需要中间文件，数据库名使用tns中的配置。query子句在数据源库上执行，结果直接发到目标库。

2.四种模式：

c)append：目标表不存在时先建表再插入数据，若存在直接加载数据。

d)create：直接建表，若目标表存在，报错退出。

e)insert：直接插入数据，若目标表不存在，报错退出。

f)replace：目标表存在时会先删除表，再重建及加载数据，一般很少用这个模式

注意：create、replace后面没有table关键字，insert后面没有into和values关键字

l参数：使用sqlplus参数，跟数据库无关。这些参数可以在sqlplus里，show参数名来查看具体值。

a)arraysize：一个批次传输的数据量,默认值是100，可以在sqlplus里，使用show arraysize查看。

b)copycommit：定义多少批次自动commit，copycommit*arraysize=一次commit的数据量，这个乘积对事务大小有影响。默认是0，就是所有数据加载完毕才做一次commit，建议使用非0数字。

c)long：可以传输long数据的长度，默认值是20000

destination_table [(column, column, column, ...)] 目标表的列名，不指定的话，那么使用后面查询语句的列名

举例：

SQL> copy fromsf/sf@skyreadtosf/sf@skyreadcreate tb1 using select * from am_role;

Array fetch/bind size is 15. (arraysize is 15)
Will commit when done. (copycommit is 0)
Maximum long size is 80. (long is 80)

CPY-0012: Datatype cannot be copied

SQL> desc am_role
Name Null? Type
----------------------------------------- -------- ----------------------------
ROLEID NOT NULL VARCHAR2(32 CHAR)
ROLENAME VARCHAR2(255 CHAR)
TAG VARCHAR2(255 CHAR)
MEMO VARCHAR2(2000 CHAR)
UPDATEUSER VARCHAR2(50 CHAR)
UPDATEDATE TIMESTAMP(6)
FAST VARCHAR2(1 CHAR)

看到数据类型不能匹配，这里有TIMESTAMP

SQL> select count(*) from A_USER_CONSUME;

COUNT(*)
----------
8632

SQL> desc A_USER_CONSUME
Name Null? Type
----------------------------------------- -------- ----------------------------
IMSI NOT NULL VARCHAR2(30)
DAYS NUMBER(38)
DIRECT_CONSUME NUMBER
MO_CONSUME NUMBER

SQL> copy fromsf/sf@skyreadtosf/sf@skyreadcreate tb1 using select * from A_USER_CONSUME;

Array fetch/bind size is 15. (arraysize is 15)
Will commit when done. (copycommit is 0)
Maximum long size is 80. (long is 80)
Table TB1 created.

8632 rows selected fromsf@skyread.
8632 rows inserted into TB1.
8632 rows committed into TB1 atsf@skyread.

SQL> select count(*) from tb1;

COUNT(*)
----------
8632

注意这里from 和to 最少要指定一个，如果不写，那么默认在当前schema下，一定注意这里create后面没有table关键字，是直接跟表名的

oracle这里用copy的好处是比较灵活，当然这里和create table ... as select ...这种效果是一样的，但是如果是追加新的记录insert into ... select ...如果量很大的话，那么会产生大量的redo和undo，对IO有很大影响，这里copy是不生成undo信息，当然效果会好一些，实际情况用copy还是比较少的，这里只是了解一下oracle有这个功能

另外postgresql 也有copy这个命令，用起来也很灵活，是迁移数据的一个好工具

Syntax:
COPY table_name [ ( column [, ...] ) ]
FROM { 'filename' | STDIN }
[ [ WITH ] ( option [, ...] ) ]

COPY { table_name [ ( column [, ...] ) ] | ( query ) }
TO { 'filename' | STDOUT }
[ [ WITH ] ( option [, ...] ) ]

where option can be one of:

FORMAT format_name
OIDS [ boolean ]
DELIMITER 'delimiter_character'
NULL 'null_string'
HEADER [ boolean ]
QUOTE 'quote_character'
ESCAPE 'escape_character'
FORCE_QUOTE { ( column [, ...] ) | * }
FORCE_NOT_NULL ( column [, ...] ) |
ENCODING 'encoding_name'

语法也是很简明的，介绍几个常用的选项

DELIMITER ：指定分隔符

HEADER：声明文件包含一个头标识，包含字段名称

postgres=# copy t1 to '/home/postgres/t1.sql';
COPY 5

postgres=# copy t1 from '/home/postgres/t1.sql';
COPY 5

postgres=# select count(*) from t1;
count
-------
10
(1 row)

可以看到这里多了5行

postgres=# copy shoelace_log to '/home/postgres/shoelace_log.sql' DELIMITER ':';

1:apple

导出为CVS格式：

postgres=#copy t1 to '/home/postgres/t1.csv' csv header;

这里with写可不写

指定需要导出的列：

postgres=#copy t1(a,b) to '/home/postgres/t1.csv' with DELIMITER ':' csv header;