MySQL 过滤重复数据

关注

VIP免费原创最新推荐文章于 2026-06-08 16:28:09 发布 1.7w 阅读 AI 写同款· GEO 优化 ›

MySQL 大批量插入，如何过滤掉重复数据？线上库有6个表存在重复数据，其中2个表比较大，一个96万+、一个30万+，因为之前处理过相同的问题，就直接拿来了上次的Python去重脚本，脚本很简单，就是连接数据库，查出来重复数据，循环删除。 emmmm，但是这个效率嘛，实在是太低了，1秒一条，重复数据大约2万+，预估时间大约在8个小时左右。言归正传，下面详细介绍去重步骤。 CREATETABLE`animal`( `id`int(11)NOTNULLAUTO_INCREMENT, `name`varchar(20)D... 阅读详情

方法1：加关键字 DISTINCT

在mysql中，可以利用“SELECT”语句和“DISTINCT”关键字来进行去重查询，过滤掉重复的数据，语法“SELECT DISTINCT 字段名 FROM 数据表名;”。

DISTINCT 关键字的语法格式为：

SELECT DISTINCT <字段名> FROM <表名>;

其中，“字段名”为需要消除重复记录的字段名称，多个字段时用逗号隔开。

示例

-- 示例1
SELECT DISTINCT name FROM Product WHERE price>100;

-- 示例2
SELECT DISTINCT name,age FROM student;

使用 DISTINCT 关键字时需要注意以下几点：

DISTINCT 关键字只能在 SELECT 语句中使用。

在对一个或多个字段去重时，DISTINCT 关键字必须在所有字段的最前面。

如果 DISTINCT 关键字后有多个字段，则会对多个字段进行组合去重，也就是说，只有多个字段组合起来完全是一样的情况下才会被去重。

在 MySQL 中使用SELECT语句执行简单的数据查询时，返回的是所有匹配的记录。如果表中的某些字段没有唯一性约束，那么这些字段就可能存在重复值。为了实现查询不重复的数据，MySQL 提供了DISTINCT关键字。

DISTINCT 关键字的主要作用就是对数据表中一个或多个字段重复的数据进行过滤，只返回其中的一条数据给用户。