mysql查找重复数据只保留一条记录

最新推荐文章于 2025-11-19 09:30:00 发布
原创 最新推荐文章于 2025-11-19 09:30:00 发布 · 2.5w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #group by #数据库

本文介绍了一种在SQL查询中获取指定名称的单条记录的方法。通过使用group by语句，即使有多条相同名称的数据，也能确保仅返回一条记录。

比如我直接select * from movie where name="功夫";有三条数据，但我只希望拿到其中任意一条就行了。

可以使用group by 分组


因为name是一样的，所以分组也就是只有一组，因此得到我想要的结果了。

MySQL有两条以上重复数据时只保留一条
LDC，公众号【轻松学编程】
04-10 3045
MySQL有两条以上重复数据时只取其中一条数据，其他的过滤掉
mysql 数据表中查找重复记录
09-11
4. `HAVING count > 1`: 这是条件过滤，仅保留那些`count`值大于1的组，也就是至少出现两次的`user_name`，从而找出重复的记录。 除了上述方法，还有其他方式来查找重复记录，例如使用自连接或子查询。以下是一个...
MySQL 查询重复内容只显示一条
08-14
NULL 博文链接：https://onestopweb.iteye.com/blog/2318954
一条sql语句完成MySQL去重留一
09-09
在使用mysql时，有时需要查询出某个字段不重复的记录，虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。
SQL 去重：如何保留“最新”的一条数据？只用 DISTINCT 可做不到！
最新发布
郑龙飞
11-19 442
简单去重，用DISTINCT。聚合统计，用GROUP BY。复杂逻辑（保留特定行），用。别再因为“听说DISTINCT慢”就盲目使用GROUP BY了。在现代数据库优化器面前，它俩在纯去重场景下是半斤八两的。真正拉开差距的，是你的业务需求到底需要多精细的控制粒度。
MySQL 查询重复数据只保留最新一条
段占彪的博客
10-28 6790
准备工作 创建测试表 CREATE TABLE `user` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `code` varchar(16) NOT NULL, `name` varchar(32) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 插入数据 INSERT INTO user (code,name) VALUES('A','张三
mysql查询重复数据只保留一条
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
11-17 1324
mysql查询出一列里面重复过的数据(2个或以上) SELECT count(t1.stu_id)ASct tableASt1 GROUPBY t1.stu_id HAVING //table替换为你的表名 mysql查询某字段相同的记录 感觉你的描述有点乱，总结一下 已知比赛双方队伍id，要查询比赛信...
mysql查找删除重复数据并只保留一条实例详解
10-21
本文将详细介绍如何在MySQL中查找并删除重复数据，同时只保留其中一条，具体以实例进行解析。 首先，假设我们有一个名为`test`的表格，包含以下字段：`school_id`、`school_name`、`total_student`和`test_takers`...
MySQL查询重复数据（删除重复数据保留id最小的一条为唯一数据）
09-09
本文主要探讨如何查询并删除MySQL中的重复数据，同时保留每个重复组中ID最小的一条记录。 首先，我们需要找到表中的重复数据。假设我们有一个名为`brand`的表，其中包含品牌名称`brandName`和其他字段，而我们想要...
Mysql重复数据查重保留一条
weixin_40052298的博客
07-02 1万+
例如：t_user 用户表中 username 重复。将username重复的用户查询出来，保留一条数据。 先附上查重的sql以供验证： SELECT username, count(*) as num FROM t_user GROUP BY username HAVING count(*)>1; 查询结果为： 接下来，就需要将username重复的用户删除到只剩一条记录。 第一步：查询出重复记录中id最小的记录。 SELECT min(id) id, username FROM
mysql查询或删除重复记录并且只保留一条
alan_liuyue的博客
07-08 1772
最近在做题库系统，由于在题库中添加了重复的试题，所以需要查询出重复的试题，并且删除掉重复的试题只保留其中1条，以保证考试的时候抽不到重复的题。 首先写了一个小的例子： 一、单个字段的操作 这是数据库中的表： 分组介绍： Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1 查看是否有重复的数据： GROUP BY <列名序列> HAVING <组条件表达式> 查询出：根据dname分组，同时满..
MySQL 中删除重复的数据并只保留一条
热门推荐
龚小帅的博客
07-11 1万+
要在 MySQL 中删除重复的数据并只保留一条，可以使用下面的方法。
mysql处理重复数据仅保留一条记录
weixin_30468137的博客
06-20 349
目的：去除（或删除）一个表里面手机号重复的数据，但是需要保留其中一个记录，换句话说，表里面手机号不为空的数据，一个手机有且只有一条记录 表结构： CREATE TABLE `account` ( `id` int(11) NOT NULL, `phone` varchar(11) DEFAULT NULL, PRIMARY KEY (`id`) ); ...
MySql根据字段名查询重复记录并删除！只保留一条
java李阳勇的博客
07-25 2150
MySql根据字段名查询重复记录并删除！只保留一条
mysql查找删除重复数据,只保留一条
kebo_china的博客
05-26 678
我们可以看出,name字段有重复数据,(华师一附中出现了两次),如何删除重复数据保留其中的一条呢?具体实现方案如下:1.删除重复字段,保留id最小的一条delete FROM `t_school_name` WHERE `name` in (select name from (SELECT `name` FROM `t_school_name` GROUP BY `name` HAVING C...
MySQL中查询所有数据，其中重复的数据中只保留最新的一条，其余的过滤
xu_tadpole的博客
05-26 371
SELECT * FROM pmo_event_order_deal a WHERE NOT EXISTS ( SELECT 1 FROM pmo_event_order_deal b WHERE ( b.order_id = a.order_id AND b.deal_man = a.deal_man ) AND b.deal_time > a.deal_time ) ...
mysql查找删除重复数据并只保留一条
yezongzhen的博客
03-09 2533
mysql表中，某一字段的值有很多重复数据，需要将这些重复的数据记录删除，只保留其中的一条数据即可，如何使用SQL语句来实现呢，本文章向大家介绍mysql如何查找删除重复数据，需要的朋友可以参考一下。 有这样一张表，表数据及结果如下： school_id school_name total_student test_takers 1239 Abraham Lincoln High School 55 50 1240 Abraham Lincoln Hig
mysql查重只留一个_mysql中删除重复记录，只保留一条
weixin_42300329的博客
01-30 180
表结构如下：mysql> desc test1;+--------------+------------------+------+-----+---------+----------------+| Field | Type | Null | Key | Default | Extra |+--------------+-------...
mysql删除重复数据，保留一条数据
07-23
<think>我们正在处理一个MySQL数据库问题：删除重复数据并保留每组重复数据中的一条记录。 根据引用[2]和引用[4]，有多种方法可以实现。这里我将总结两种常用且有效的方法，并给出详细的步骤和SQL语句。 假设我们有一个表`your_table`，其中包含重复的数据。我们需要根据某些列（例如，列`col1, col2`）来判断重复，并且我们想保留每组重复中的一条（通常保留id最小或最大的那条）。 方法一：使用临时表（引用[2]中提到的临时表法） 步骤： 1. 创建一个临时表，用于存储去重后的数据。 2. 将去重后的数据（使用GROUP BY按重复列分组，并选择每组中最小或最大的id）插入临时表。 3. 删除原表中的数据。 4. 将临时表的数据插入原表。 5. 删除临时表。 但是，这种方法在数据量大时可能需要谨慎，因为会删除整个表的数据再重新插入。如果表有外键约束或触发器，可能不适用。 方法二：使用DELETE JOIN（引用[4]中提供的方法） 我们可以通过自连接的方式，删除那些在重复组中但不是保留记录的行。 具体步骤（以保留id最小的记录为例）： 1. 首先，我们通过分组找出每组重复数据中id最小的记录（即我们要保留的记录）。 2. 然后，删除那些重复的且id不在保留记录id列表中的记录。 但是，在MySQL中，不能直接在同一语句中同时查询和更新同一张表。因此，我们需要使用中间表（如子查询）来绕过这个限制。 参考引用[4]中的例子： ```sql DELETE FROM your_table WHERE id NOT IN ( SELECT * FROM ( SELECT MIN(id) FROM your_table GROUP BY col1, col2 -- 根据哪些列判断重复 HAVING COUNT(*) > 1 -- 重复组 ) AS temp ) AND (col1, col2) IN ( SELECT col1, col2 FROM your_table GROUP BY col1, col2 HAVING COUNT(*) > 1 ); ``` 但是上面的语句可能效率不高，且逻辑复杂。更常见的做法是使用连接： 另一种写法（使用自连接）： ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 WHERE t1.id > t2.id -- 保留较小的id，删除较大的id（也可以改为保留较大的） AND t1.col1 = t2.col1 AND t1.col2 = t2.col2; ``` 注意：这个连接会删除所有重复组中除了最小id以外的所有记录。但是，这种方法会删除所有重复组，包括只有两条重复的。而且，如果重复组有多个（超过2条），它会将重复组中除了最小id的记录都删除。 但是，上面的自连接方法有一个问题：它会将每个重复组中除了最小id的记录都删除，但可能也会删除非重复组吗？不会，因为非重复组不会满足连接条件（因为只有一条，所以t1和t2不会同时存在且满足t1.col1=t2.col1和t1.col2=t2.col2且t1.id>t2.id）。所以，非重复组不会被删除。 然而，引用[4]中提供了另一种使用LEFT JOIN的方法（保留每组中gi_id最小的记录）： ```sql DELETE FROM chz_goods_img WHERE gi_id NOT IN ( SELECT gi_id FROM ( SELECT gi1.gi_id FROM chz_goods_img gi1 LEFT JOIN chz_goods_img gi2 ON gi1.gi_g_id = gi2.gi_g_id AND gi1.gi_type = gi2.gi_type AND gi1.gi_id > gi2.gi_id -- 这样，如果存在更小的gi_id，则gi2不为空，那么gi1就不是最小的 WHERE gi2.gi_id IS NULL -- 这样只选出最小的gi_id（因为对于最小的记录，找不到比它更小的，所以gi2为NULL） ) AS t ); ``` 这个语句可以保留每组（按gi_g_id和gi_type分组）中gi_id最小的记录，删除其他重复记录。注意，这里没有显式地判断重复，所以它会删除所有非最小id的记录（包括非重复组）。因此，这个语句会删除所有重复组中不是最小id的记录，同时也会保留非重复组（因为非重复组中，该记录本身也是最小id，且没有更小的，所以会被保留）。 但是，我们通常只想删除重复的记录，而保留非重复的记录。因此，上面的语句实际上也可以工作，因为它保留了每个分组（重复或非重复）的最小id记录，删除了其他记录。这样，非重复组只有一条记录，所以不会被删除（因为保留的就是它自己），重复组则只保留最小id的那条。 然而，我们可能只想处理重复数据，而不想影响非重复数据。上面的语句实际上也处理了非重复数据（虽然结果是非重复数据被保留，但执行了判断），所以是安全的。 但是，根据用户需求，我们只需要删除重复数据并保留一条。因此，我们可以使用这种方法。 总结：推荐两种方法 方法1（简单，但需要复制表结构，适用于数据量不大且无外键约束的情况）： ```sql -- 步骤1：创建临时表，存储去重后的数据 CREATE TEMPORARY TABLE temp_table AS SELECT * FROM your_table WHERE 1 GROUP BY col1, col2; -- 注意：这样分组，如果MySQL的sql_mode设置严格，可能会报错，因为非分组列可能有多个值。所以应该用聚合函数或者选择最小id的记录。 -- 更好的做法是明确指定保留哪条记录（例如，保留id最小的记录）： CREATE TEMPORARY TABLE temp_table AS SELECT MIN(id) AS id, col1, col2, ... (其他列) FROM your_table GROUP BY col1, col2; -- 但是，如果其他列有多个值，我们可能需要使用子查询或者聚合函数来获取对应最小id的其他列值？或者，如果其他列在重复组中相同，那么直接取任意一行都可以（因为重复）。或者，我们只根据重复列分组，然后通过id来获取整行？ -- 更安全的做法：使用子查询获取每个重复组的最小id，然后通过id来获取整行 CREATE TEMPORARY TABLE temp_table AS SELECT * FROM your_table WHERE id IN ( SELECT MIN(id) FROM your_table GROUP BY col1, col2 ); -- 步骤2：删除原表数据 DELETE FROM your_table; -- 步骤3：将临时表的数据插入原表 INSERT INTO your_table SELECT * FROM temp_table; -- 步骤4：删除临时表 DROP TEMPORARY TABLE temp_table; ``` 方法2（使用DELETE JOIN，更高效，但需要谨慎）： 我们使用自连接来删除重复记录，保留最小id的记录： ```sql DELETE t1 FROM your_table t1, your_table t2 WHERE t1.col1 = t2.col1 AND t1.col2 = t2.col2 AND t1.id > t2.id; ``` 这个语句将删除所有重复组中id不是最小的记录。注意：这个语句会删除重复组中除了最小id的所有记录，非重复组不会被删除（因为非重复组只有一条，不会满足t1.id>t2.id，因为t1和t2是同一组，但非重复组只有一条，所以t1和t2是同一行，而t1.id>t2.id不成立，所以不会删除）。 但是，这个语句有一个问题：如果重复组有3条记录，id分别为1,2,3。那么当比较id=2和id=1时，满足条件（2>1），所以id=2会被删除；当比较id=3和id=1时，满足条件，id=3也会被删除。所以最终保留id=1。这符合预期。 但是，如果重复组中有两条记录，id为1和2，那么id=2会被删除，保留id=1。 所以，这个语句可以达到目的，而且简单高效。 但是，需要注意的是，这种方法可能会因为表数据量大而执行较慢，因为它需要自连接。另外，确保在操作前备份数据。 因此，我们推荐使用第二种方法（DELETE JOIN）来删除重复记录并保留最小id的记录。如果希望保留最大id的记录，只需将`t1.id > t2.id`改为`t1.id < t2.id`。 步骤： 1. 备份数据（重要！） 2. 执行DELETE语句。 示例SQL（假设表名为`ceshi`，重复列为`name, class`，主键为`id`）： ```sql DELETE t1 FROM ceshi t1, ceshi t2 WHERE t1.name = t2.name AND t1.class = t2.class AND t1.id > t2.id; ``` 但是，请注意：如果重复组中，除了重复列外，其他列的值可能不同，那么这种方法只根据重复列（name,class）来分组，删除重复。如果其他列不同，但重复列相同，也会被视为重复。所以，请确保重复列的选择正确。 另外，如果重复组中，有部分记录某些列不同，但重复列相同，那么它们也会被删除（只保留一条）。所以，请根据业务需求选择合适的重复列。 最后，如果表中有大量重复数据，自连接可能会产生很大的中间结果，所以建议在非高峰时段执行，并确保有索引（在重复列上建立索引可以提高效率）。 总结步骤： 1. 确定重复列（例如，name, class）。 2. 确定保留规则（保留最小id还是最大id）。 3. 备份表（重要！）。 4. 执行DELETE语句。 示例：删除重复记录并保留最小id的记录 ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 ON t1.col1 = t2.col1 AND t1.col2 = t2.col2 WHERE t1.id > t2.id; ``` 注意：如果重复列中有NULL值，那么NULL与NULL在比较时，在MySQL中NULL=NULL返回未知，所以不会匹配。因此，这种方法不会将两个都为NULL的记录视为重复。如果需要将NULL视为相等，那么需要特殊处理（例如，使用<=>运算符，但JOIN条件中不支持<=>，所以可以改为使用IS NULL和IS NOT NULL的组合条件）。不过，通常NULL值不会被视为重复，所以这个删除操作不会影响包含NULL的记录。 如果重复列中可能有NULL，并且希望将NULL视为相等，那么可以这样修改条件： ```sql ON (t1.col1 = t2.col1 OR (t1.col1 IS NULL AND t2.col1 IS NULL)) AND (t1.col2 = t2.col2 OR (t1.col2 IS NULL AND t2.col2 IS NULL)) ``` 但是，这样会使条件复杂，且可能影响性能。因此，根据实际需求决定。 最后，如果表非常大，我们可以先找出重复的数据，然后分批删除。 以上是两种常用的方法，请根据实际情况选择。</think>### MySQL 删除重复记录并保留一条记录的方法 在 MySQL 中删除重复数据并保留每组重复记录中的一条，可以通过以下两种常用方法实现。假设表名为 `your_table`，重复依据列为 `col1, col2`，唯一标识列为 `id`： #### 方法一：使用临时表（推荐） ```sql -- 步骤1：创建临时表存储去重数据 CREATE TEMPORARY TABLE temp_table AS SELECT MIN(id) AS id, col1, col2 FROM your_table GROUP BY col1, col2; -- 步骤2：删除原表重复数据 DELETE t FROM your_table t LEFT JOIN temp_table tmp ON t.id = tmp.id WHERE tmp.id IS NULL; -- 步骤3：清理临时表 DROP TEMPORARY TABLE temp_table; ``` **原理**： 1. 通过 `GROUP BY` 分组找出每组重复数据中需保留的记录（通常保留最小/最大 ID） 2. 使用左连接删除不在临时表中的记录 3. 保留数据完整性，避免全表删除[^2] #### 方法二：直接删除（高效） ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 ON t1.col1 = t2.col1 AND t1.col2 = t2.col2 AND t1.id > t2.id; -- 保留较小ID（改为 < 则保留较大ID） ``` **原理**： 通过自连接定位重复组中需要删除的记录（保留每组中 ID 最小/最大的记录），执行效率较高[^4] #### 操作注意事项 1. **备份数据**：执行前务必备份 ```sql CREATE TABLE your_table_backup AS SELECT * FROM your_table; ``` 2. **添加索引**（大表优化）： ```sql ALTER TABLE your_table ADD INDEX idx_dup (col1, col2, id); ``` 3. **验证重复数据**： ```sql SELECT col1, col2, COUNT(*) FROM your_table GROUP BY col1, col2 HAVING COUNT(*) > 1; ``` #### 特殊场景处理 **需保留非最小/最大 ID 记录**： ```sql DELETE FROM your_table WHERE id NOT IN ( SELECT * FROM ( SELECT MAX(id) -- 或自定义选择逻辑 FROM your_table GROUP BY col1, col2 ) AS tmp ); ``` > **重要提示**：在 MySQL 8.0+ 中可使用窗口函数 `ROW_NUMBER()` 更高效处理，但需注意版本兼容性[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值