SQL查询重复数据和清除重复数据 整理

选择重复，消除重复和选择出序列

有例表：emp

emp_no   name    age    
    001           Tom      17    
    002           Sun       14    
    003           Tom      15    
    004           Tom      16

要求：

列出所有名字重复的人的记录

(1)最直观的思路：要知道所有名字有重复人资料，首先必须知道哪个名字重复了：

select   name   from   emp       group   by   name     having   count(*)>1

 所有名字重复人的记录是:

select   *   from   emp
    where name   in   (select   name   from   emp group   by   name having count(*)>1)

(2)稍微再聪明一点，就会想到，如果对每个名字都和原表进行比较，大于2个人名字与这条记录相同的就是合格的 ，就有

select   *   from   emp   where   (select   count(*)   from   emp   e    where   e.name=emp.name)   >1

--注意一下这个>1，想下如果是 =1，如果是 =2 如果是>2 如果 e 是另外一张表 而且是=0那结果 就更好玩了:)

这个过程是 在判断工号为001的 人 的时候先取得 001的 名字（emp.name） 然后和原表的名字进行比较 e.name

注意e是emp的一个别名。

再稍微想得多一点，就会想到，如果有另外一个名字相同的人工号不与她他相同那么这条记录符合要求：

select   *   from   emp    
    where   exists    
                  (select   *   from   emp   e    where   e.name=emp.name   and   e.emp_no<>emp.emp_no)

 此思路的join写法：

select   emp.*       from   emp,emp e
        where emp.name=e.name and emp.emp_no<>e.emp_no/**/
/*     这个语句较规范的   join   写法是    
select emp.* from   emp   inner join emp   e     on emp.name=e.name and emp.emp_no<>e.emp_no    
但个人比较倾向于前一种写法，关键是更清晰     */    
b、有例表：emp    
name     age    
Tom       16    
Sun        14    
Tom       16    
Tom       16

----------------------------------------------------清除重复----------------------------------------------------
过滤掉所有多余的重复记录
(1)我们知道distinct、group by 可以过滤重复，于是就有最直观的
 
select   distinct   *   from   emp     或     select   name,age   from   emp   group   by   name,age

获得需要的数据，如果可以使用临时表就有解法：
 
select   distinct   *   into   #tmp    from   emp  
    delete   from   emp  
    insert   into   emp   select   *   from   #tmp

(2)但是如果不可以使用临时表，那该怎么办？
我们观察到我们没办法区分数据（物理位置不一样，对 SQL Server来说没有任何区别），思路自然是想办法把数据区分出来了，既然现在的所有的列都没办法区分数据，唯一的办法就是再加个列让它区分出来，加什么列好？最佳选择是identity列：
 
alter   table   emp   add   chk   int   identity(1,1)

 表示例：
 
name   age   chk    
    Tom     16     1    
    Sun      14     2    
    Tom     16     3    
    Tom     16     4

重复记录可以表示为：
 
select   *   from   emp where (select   count(*)   from   emp   e   where   e.name=emp.name)>1

 要删除的是：
 
delete   from   emp
    where (select   count(*)   from   emp   e     where   e.name=emp.name   and   e.chk>=emp.chk)>1
 
再把添加的列删掉，出现结果。
 
alter   table   emp   drop   column   chk

 
(3)另一个思路：
视图
 
select   min(chk) from   emp group   by   name having   count(*)   >1

 获得有重复的记录chk最小的值,于是可以
 
delete from   emp where chk   not   in (select min(chk) from   emp group   by   name)

写成join的形式也可以:
 
(1)有例表：emp
 
emp_no    name    age    
    001            Tom      17    
    002            Sun       14    
    003            Tom      15    
    004            Tom      16

 ◆要求生成序列号
(1)最简单的方法，根据b问题的解法：
 
alter   table   emp   add   chk   int   identity(1,1)   或  
    select   *,identity(int,1,1)   chk   into   #tmp   from   emp

 ◆如果需要控制顺序怎么办？
 
select   top   100000   *,identity(int,1,1)   chk   into   #tmp   from   emp   order   by   age

 (2) 假如不可以更改表结构，怎么办？
如果不可以唯一区分每条记录是没有办法的，在可以唯一区分每条记录的时候,可以使用a 中的count的思路解决这个问题
 
select   emp.*,(select   count(*)   from   emp   e   where   e.emp_no<=emp.emp_no)  
    from   emp  
    order   by   (select   count(*)   from   emp   e   where   e.emp_no<=emp.emp_no)