数据库大数据量去重实现方式

前提：

表a 字段 id、a1、a2（可以有多个字段，在此为方便只列出3个字段，其中id是主键，因此在一个表中是唯一的）

方式一：

 delete from a where a.id not in(select max(id) from a group by a1,a2);

说明：数据量很大时候，执行非常慢。大数据量的时候，delete执行效率本身就很低，再加上分组查询。

建议设计数据表的时候应该考虑用hadoop或者在插入数据的时候加个唯一索引，这样就可以保证插入数据本身就是没有重复的。

方式二：

1、建立一个临时表，将不重复的数据插入里边

creat table temp as select max(id) as id,a1,a2 from a group by a1,a2

2、将临时表中的数据导入到原表中

执行truncate table命令将原来表的数据删除，再用insert into select语句，在此不在赘述