数据库去重与分页优化-优快云博客

删除数据库中重复数据的方法

方法一：（只适用于oracle）

据据oracle带的rowid属性，进行判断，是否存在重复,语句如下：
查数据:
    select * from table1 a where rowid !=(select max(rowid)
    from table1 b where a.name1=b.name1 anda.name2=b.name2......)
删数据：
   delete from table1 a where rowid !=(select max(rowid)
    from table1 b where a.name1=b.name1 anda.name2=b.name2......)

方法二：

查数据:
　　selectcount(num), max(name) from student --列出重复的记录数，并列出他的name属性
　　group by num
　　havingcount(num) >1 --按num分组后找出表中num列重复，即出现次数大于一次
删数据：
　　delete fromstudent
　　group by num
　　havingcount(num) >1
　　这样的话就把所有重复的都删除了。

方法三：（适用于小表）

create table table_new as selectdistinct * from table1 minux
truncate table table1;
insert into table1 select * from table_new;

StoredProcedure（存储过程）编写经验和优化措施

一、前言：在经过一段时间的存储过程开发之后，写下了一些开发时候的小结和经验与大家共享，希望对大家有益，主要是针对Sybase和SQL Server数据库，但其它数据库应该有一些共性。

二、适合读者对象：数据库开发程序员，数据库的数据量很多，涉及到对SP（存储过程）的优化的项目开发人员，对数据库有浓厚兴趣的人。

三、介绍：在数据库的开发过程中，经常会遇到复杂的业务逻辑和对数据库的操作，这个时候就会用SP来封装数据库操作。如果项目的SP较多，书写又没有一定的规范，将会影响以后的系统维护困难和大SP逻辑的难以理解，另外如果数据库的数据量大或者项目对SP的性能要求很，就会遇到优化的问题，否则速度有可能很慢，经过亲身经验，一个经过优化过的SP要比一个性能差的SP的效率甚至高几百倍。

四、内容：

1、开发人员如果用到其他库的Table或View，务必在当前库中建立View来实现跨库操作，最好不要直接使用“databse.dbo.table_name”，因为sp_depends不能显示出该SP所使用的跨库table或view，不方便校验。

2、开发人员在提交SP前，必须已经使用set showplan on分析过查询计划，做过自身的查询优化检查。

3、高程序运行效率，优化应用程序，在SP编写过程中应该注意以下几点：

a)　　　　SQL的使用规范：

i.　尽量避免大事务操作，慎用holdlock子句，

ii. 尽量避免反复访问同一张或几张表，尤其是数据量较大的表，可以考虑先根据条件提取数据到临时表中，然后再做连接。

iii. 尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该改写；如果使用了游标，就要尽量避免在游标循环中再进行表连接的操作。

iv. 注意where字句写法，必须考虑语句顺序，应该根据索引顺序、范围大小来确定条件子句的前后顺序，尽可能的让字段顺序与索引顺序相一致，范围从大到小。

v. 不要在where子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。

vi. 尽量使用exists代替select count(1)来判断是否存在记录，count函数只有在统计表中所有行数时使用，而且count(1)比count(*)更有效率。

vii. 尽量使用“>=”，不要使用“>”。

viii. 注意一些or子句和union子句之间的替换

ix. 注意表之间连接的数据类型，避免不同类型数据之间的连接。

x. 注意存储过程中参数和数据类型的关系。

xi. 注意insert、update操作的数据量，防止与其他应用冲突。如果数据量超过200个数据页面（400k），那么系统将会进行锁升级，页级锁会升级成表级锁。

b)　索引的使用规范：

i.　索引的创建要与应用结合考虑，建议大的OLTP表不要超过6个索引。

ii.　尽可能的使用索引字段作为查询条件，尤其是聚簇索引，必要时可以通过index index_name来强制指定索引

iii. 避免对大表查询时进行table scan，必要时考虑新建索引。

iv. 使用索引字段作为条件时，如果该索引是联合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用。

v. 要注意索引的维护，周期性重建索引，重新编译存储过程。

c) tempdb的使用规范：

i.　尽量避免使用distinct、order by、group by、having、join、cumpute，因为这些语句会加重tempdb的负担。

ii. 避免频繁创建和删除临时表，减少系统表资源的消耗。

iii. 在新建临时表时，如果一次性插入数据量很大，那么可以使用select into代替create table，避免log，提高速度；如果数据量不大，为了缓和系统表的资源，建议先create table，然后insert。

iv. 如果临时表的数据量较大，需要建立索引，那么应该将创建临时表和建立索引的过程放在单独一个子存储过程中，这样才能保证系统能够很好的使用到该临时表的索引。

v. 如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先truncate table，然后drop table，这样可以避免系统表的较长时间锁定。

vi. 慎用大的临时表与其他大表的连接查询和修改，减低系统表负担，因为这种操作会在一条语句中多次使用tempdb的系统表。

d) 合理的算法使用：

根据上面已提到的SQL优化技术和ASETuning手册中的SQL优化内容,结合实际应用,采用多种算法进行比较,以获得消耗资源最少、效率最高的方法。具体可用ASE调优命令：set statistics io on,set statistics time on , set showplan on 等。

Oracle大数据量分页通用存储过程

type refCursorType is REF CURSOR; --游标类型定义，用于返回数据集

/*****************************************************************
*功能描述: 大数据量分页通用存储过程
*创建人: 夏春涛 xchuntao@163.com qq:23106676
*创建时间: 2005-06-29
*****************************************************************/
procedure sp_Page(p_PageSizeint,          --每页记录数
                 p_PageNo int,           --当前页码,从 1 开始
                 p_SqlSelect varchar2,    --查询语句,含排序部分
                 p_OutRecordCount out int,--返回总记录数
                 p_OutCursor out refCursorType)
as
    v_sql varchar2(3000);
    v_count int;
    v_heiRownum int;
    v_lowRownum int;
begin
----取记录总数
v_sql := 'select count(*) from (' || p_SqlSelect || ')';
execute immediate v_sql into v_count;
p_OutRecordCount := v_count;
----执行分页查询
v_heiRownum := p_PageNo * p_PageSize;
v_lowRownum := v_heiRownum - p_PageSize + 1;

v_sql := 'SELECT *
            FROM (
                 SELECT A.*, rownum rn
                 FROM ('|| p_SqlSelect ||') A
                 WHERE rownum <= '|| to_char(v_heiRownum) || '
                ) B
            WHERE rn>= ' || to_char(v_lowRownum) ;
            --注意对rownum别名的使用,第一次直接用rownum,第二次一定要用别名rn

OPEN p_OutCursor FOR v_sql;

endsp_Page;

/*****************************************************************
*功能描述: 大数据量分页通用存储过程(重载1，推荐使用)
*创建人:夏春涛
*创建时间: 2005-07-01
*****************************************************************/
procedure sp_Page(p_PageSizeint,          --每页记录数
                 p_PageNo int,           --当前页码,从 1 开始
                 p_SqlSelect varchar2,    --查询语句,含排序部分
                 p_SqlCount varchar2,     --获取记录总数的查询语句
                 p_OutRecordCount out int,--返回总记录数
                 p_OutCursor out refCursorType)
as
    v_sql varchar2(3000);
    v_count int;
    v_heiRownum int;
    v_lowRownum int;
begin
----取记录总数
execute immediate p_SqlCount into v_count;
p_OutRecordCount := v_count;
----执行分页查询
v_heiRownum := p_PageNo * p_PageSize;
v_lowRownum := v_heiRownum - p_PageSize + 1;

endsp_Page;

/*****************************************************************
*功能描述: 大数据量分页通用存储过程(重载2)
*创建人: 夏春涛
*创建时间: 2005-07-01
*****************************************************************/
procedure sp_Page(p_PageSizeint,        --每页记录数
                 p_PageNo int,          --当前页码,从 1 开始
                 p_SqlSelect varchar2, --查询语句,含排序部分
                 p_OutCursor out refCursorType)
as
    v_sql varchar2(3000);
    --v_count int;
    v_heiRownum int;
    v_lowRownum int;
begin
/*
----取记录总数
v_sql := 'select count(*) from (' || p_SqlSelect || ')';
execute immediate v_sql into v_count;
p_OutRecordCount := v_count;
*/
----执行分页查询
v_heiRownum := p_PageNo * p_PageSize;
v_lowRownum := v_heiRownum - p_PageSize + 1;