oracle如何做膨胀数据_Oracle操作大量数据方法总结

一、插入大量数据

--创建存储过程语句

CREATE OR REPLACE PROCEDURE p_insert

IS

--批量提交参数

num NUMBER;

BEGIN

FOR i IN 1..10000000 LOOP

--插入语句

insert into USERINFO (ID, NAME, AGE, ADDRESS, OCCUPATION_NAME)

values (1, 'ouhy', 25, '广东省佛山市南海区XXXX公司', '测试工程师);   --执行插入

num:=num+1;

--5000笔提交一次，分批量提交，及时释放redo log buffer

IF Mod(num,5000)=0 THEN            COMMIT;

END IF;

END LOOP;

END;

--执行语句

begin

p_insert;

commit;

end;

一.删除大量数据(例如：table A 有2000万w数据，需要删除1000w)

1.先将不删除1000w的数据导入到临时表 Table B 中

create table B as select id,name from table A where .....

2.然后将2000w数据整个删除(这个在有备份情况下才用的)

truncate table A;  或者 drop table A;

3.将数据从临时表全部导回来

insert into table A  select * from table B

create table A as select id,name from B;

4. 然后删除临时表

drop table B;

-------------------------附上 ORACLE  DELETE 和 TRUNCATE区别---------------------------------------

语法

delete from aa

truncate table aa

区别

1.delete from后面可以写条件，truncate不可以。

2.delete from记录是一条条删的，所删除的每行记录都会进日志，而truncate一次性删掉整个页，因此日至里面只记录页释放，简言之，delete from更新日志，truncate基本不，所用的事务日志空间较少。

3.delete from删空表后，会保留一个空的页，truncate在表中不会留有任何页。

4.当使用行锁执行 DELETE 语句时，将锁定表中各行以便删除。truncate始终锁定表和页，而不是锁定各行。

5.如果有identity产生的自增id列，delete from后仍然从上次的序列开始增加，即序列不变，而truncate后，序列会恢复初始。

6.truncate不会触发delete的触发器，因为truncate操作不记录各个行删除。

总结1.truncate和 delete只删除数据不删除表的结构(定义)

drop语句将删除表的结构被依赖的约束(constrain),触发器(trigger),索引(index); 依赖于该表的存储过程/函数将保留,但是变为invalid状态。

2.delete语句是dml,这个操作会放到rollback segement中,事务提交之后才生效;如果有相应的trigger,执行的时候将被触发

truncate,drop是ddl, 操作立即生效,原数据不放到rollback segment中,不能回滚. 操作不触发trigger。

3.delete语句不影响表所占用的extent, 高水线(high watermark)保持原位置不动

显然drop语句将表所占用的空间全部释放

truncate 语句缺省情况下见空间释放到 minextents个 extent,除非使用reuse storage;   truncate会将高水线复位(回到最开始)。

4.速度,一般来说: drop> truncate > delete

5.安全性:小心使用drop 和truncate,尤其没有备份的时候.否则哭都来不及。

6.使用上,想删除部分数据行用delete,注意带上where子句. 回滚段要足够大.     想删除表,当然用drop

想保留表而将所有数据删除. 如果和事务无关,用truncate即可. 如果和事务有关,或者想触发trigger,还是用delete

如果是整理表内部的碎片,可以用truncate跟上reuse stroage,再重新导入/插入数据。

------------------------------------------------------------------------------------------------------------------------

二、删除大量重复记录

1、利用rowid

在oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是oracle中的哪一个数据文件、块、行上。在重复的记录中，可能所有列的内容都相同，但rowid不会相同。SQL语句如下：

delete from tbl where rowid in (select a.rowid

from tbl a,            tbl b

where a.rowid>b.rowid and a.col1=b.col1 and a.col2 = b.col2)

如果已经知道每条记录只有一条重复的，这个sql语句适用。但是如果每条记录的重复记录有N条，这个N是未知的，就要考虑适用下面这种方法了。

2、利用max或min函数

这里也要使用rowid，与上面不同的是结合max或min函数来实现。SQL语句如下

delete from tbl a

where rowid not in (

select max(b.rowid)

from tbl b

where a.col1=b.col1 and a.col2 = b.col2);            //这里max使用min也可以

或者用下面的语句

delete from tbl a where rowid

select max(b.rowid)

from tbl b

where a.col1=b.col1 and a.col2 = b.col2);