mysql删除重复数据只保留一条

最新推荐文章于 2025-12-04 15:25:15 发布
最新推荐文章于 2025-12-04 15:25:15 发布 · 190 阅读 · 0
文章标签：

#数据库

本文详细介绍了如何使用SQL语句进行数据表的创建和删除操作，包括使用`CREATE TABLE`来定义表结构，`DROP TABLE`来删除表，以及在过程中涉及到的关键字段选择和数据类型设定。

 

create table tmp  select distinct(tu.tuhao),tu.tuming,tu.gangkouming,tu.bilichi,
tu.zuoxiajiaoweidu,tu.zuoxiajiaojingdu,tu.youshangjiaoweidu,
tu.youshangjiaojingdu,tu.tupian,tu.chubanshijian,tu.gaibanshijian,tu.banci,tu.zuixinban FROM tu ;

drop table tu;
create table tu select * from tmp;
drop table tmp;

[mysql] 删除重复数据，只保留一条
FightingITPanda的博客
11-20 514
需求： 业务表有脏数据了，很多重复数据，导致报错 现要将重复数据都删掉，只留一条 实现： 1、搞一张表，模拟数据 想要的结果：panda留一条、kongfu留一条 2、思路： 1、分组，将重复数据查出来 2、通过id区分，留id最小的一条 3、删除，刨除id最小的一条 3、脚本： DELETE FROM panda_test WHERE panda_name IN ( SELECT panda_name FROM ( SELECT panda_name
mysql 过滤重复数据以及删除表中的重复数据保留一条数据的方法
junjiahuang的博客
02-28 1636
从前面查询重复的数据，加上排除最小的数据，就是我们要删除的多余的重复的数据。
Python GUI之tkinter窗口视窗教程大集合（看这篇就够了）
热门推荐
weixin_33739541的博客
08-09 8万+
一、前言 　　由于本篇文章较长，所以下面给出内容目录方便跳转阅读，当然也可以用博客页面最右侧的文章目录导航栏进行跳转查阅。 　　一、前言 　　二、Tkinter 是什么 　　三、Tkinter 控件详细介绍 　　　　1. Tkinter 模块元素简要说明 　　　　2. 常用窗口部件及简要说明： 　　四、动手实践学习 　　　　1. 创建主窗口及Label部件（标签）创建使用 　　　...
Struts2 + Android 提交接口乱码问题？
01-22 165
1、今天写了给程序，使用struts2 + android进行开发，结果程序出现乱码的情况。        解决乱码首先要考虑的步奏      1、是get方式出现乱码，还是post方式出现乱码           get方式下出现乱码，通常情况下是客户端提交的编码和服务器接受的编码不一致。        android默认提交编码为UTF8编码，如果是get方式出现乱码，只需要修改...
Mysql删除重复数据只保留一条
怪咖@的博客
10-15 2万+
以这张表为例，表里有两条数据，然后名字是相同的，但是id是不同的，现在要求是只留一条数据
mysql删除重复数据只保留一条id最大
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
11-17 2665
如何清除mysql查询的重复数据 查询及删除重复记录的SQL语句 查询及删除重复记录的SQL语句 1、查找表中多余的重复记录，重复记录是根据单个字段(peopleId)来判断 select*frompeople wherepeopleIdin(selectpeopleIdfrompeoplegroupbypeop...
mysql删除重复数据只保留一条最小id数据
Fish_Vast的博客
08-25 1241
🚗demo_name在数据表中，如果插入的数据当中有重复值的情况下，我们只想保留数据表中id最小的那一个，通过以下sql语句进行实现，在实际项目当中用NOT IN一个语句即可以搞定，下面的实例是为表示 NOT IN 与 IN 两者之间的区分，所以将两者摆放在一起，加不加上IN语句都可以，不影响实际开发中的去重操作。重复式的插入操作如果没有做去重的话，那么重复的数据就是所谓的垃圾数据，这样影响到最基本的查询业务，可想而知，这样是不行的，因为单条数据要保证它在数据表中的唯一性。芜湖起飞✈️✈️✈️。
MySQL 中删除重复的数据并只保留一条
龚小帅的博客
07-11 1万+
要在 MySQL 中删除重复的数据并只保留一条，可以使用下面的方法。
MySql删除重复数据并保留一条
向Stack Overflow的大牛学习，编写文章尽量详细。
08-17 5248
介绍一种删除mysql表中重复记录的方法。
Mysql 删除重复数据保留一条有效数据
蕃薯耀的博客
01-31 1万+
©Copyright 蕃薯耀 2023-01-31。©Copyright 蕃薯耀 2023-01-31。Mysql 删除重复数据，保留一条有效数据。
mysql数据库删除重复的数据保留一条
生有涯，知无涯
07-09 6万+
1.问题引入 假设一个场景，一张用户表，包含3个字段。id，identity_id，name。现在身份证号identity_id和姓名name有很多重复的数据，需要删除只保留一条有效数据。 2.模拟环境 1.等入mysql数据库，创建一个单独的测试数据库mysql_exercise create database mysql_exercise charset utf8; 2.创建用户表us...
mysql查找删除重复数据并只保留一条实例详解
10-21
本文将详细介绍如何在MySQL中查找并删除重复数据，同时只保留其中一条，具体以实例进行解析。 首先，假设我们有一个名为`test`的表格，包含以下字段：`school_id`、`school_name`、`total_student`和`test_takers`...
MySQL查询重复数据（删除重复数据保留id最小的一条为唯一数据）
09-09
本文主要探讨如何查询并删除MySQL中的重复数据，同时保留每个重复组中ID最小的一条记录。 首先，我们需要找到表中的重复数据。假设我们有一个名为`brand`的表，其中包含品牌名称`brandName`和其他字段，而我们想要...
MySQL数据库的数据文件保存在哪？MySQL数据存在哪里
2509_94083514的博客
11-30 781
在安装好MySQL数据库使用一段时间后，会产生许多的数据库和数据。那这些数据库的数据文件存放在本地文件夹的什么位置呢一、默认位置MySQL创建的数据库实际上存储在文件系统的一个特定目录中，该目录通常为MySQL的数据目录。这个目录的默认位置依据操作系统和MySQL的安装方式不同而有所差异。、这个目录通常位于，它可能位于是个隐藏文件夹）**其中“X.X”是MySQL的版本号。目录（每个数据库都有一个与其同名的文件夹，而这个文件夹中包含了该数据库的所有表的文件，而其中的文件代表了数据库中的表。
【免费云平台部署指南】按场景选型+全维度对比（附直达地址）
分享技术干货，聚焦AI前沿科技
12-03 815
免费云平台已能覆盖从静态网站到AI模型部署的大部分场景，核心是根据项目类型（静态/后端/AI）、访问地区（国内/国外）和功能需求（数据库/容器/GPU）选择适配平台。新手建议从简单场景入手（如GitHub Pages部署博客、Hugging Face Spaces部署AI Demo），熟悉后再尝试全栈或容器化部署。
redis基本类型 5种基本类型
yeshihouhou的博客
11-30 266
List的另一个应用就是消息队列，可以利用List的 PUSH 操作，将任务存放在List中，然后工作线程再用 POP 操作将任务取出进行执行。我们在谈基础数据结构时，讨论的是存储值的数据类型，主要包括常见的5种数据类型，分别是：String、List、Set、Zset、Hash。Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。
我们来学mysql -- undo log系列归档
一起学Coding
12-01 181
undo log系列归档
python+django/flask+vue的基于协同过滤算法的体育商品推荐系统
最新发布
Q_Q1963288475的博客
12-04 484
相比于传统的体育商品推荐方式，个性化智能的管理方式可以大幅提高体育商品推荐的管理效率，实现了个性化智能体育商品推荐的标准化、制度化、程序化的管理，有效地防止了体育商品推荐的随意管理， 功能主要包括首页、个人中心、用户管理、商品分类管理、商品信息管理、交流论坛、留言板、系统管理、订单管理等功能，从而实现个性化智能体育商品推荐方式，提高个性化智能体育商品推荐的效率。
mysql删除重复数据，保留一条数据
07-23
<think>我们正在处理一个MySQL数据库问题：删除重复数据并保留每组重复数据中的一条记录。 根据引用[2]和引用[4]，有多种方法可以实现。这里我将总结两种常用且有效的方法，并给出详细的步骤和SQL语句。 假设我们有一个表`your_table`，其中包含重复的数据。我们需要根据某些列（例如，列`col1, col2`）来判断重复，并且我们想保留每组重复中的一条（通常保留id最小或最大的那条）。 方法一：使用临时表（引用[2]中提到的临时表法） 步骤： 1. 创建一个临时表，用于存储去重后的数据。 2. 将去重后的数据（使用GROUP BY按重复列分组，并选择每组中最小或最大的id）插入临时表。 3. 删除原表中的数据。 4. 将临时表的数据插入原表。 5. 删除临时表。 但是，这种方法在数据量大时可能需要谨慎，因为会删除整个表的数据再重新插入。如果表有外键约束或触发器，可能不适用。 方法二：使用DELETE JOIN（引用[4]中提供的方法） 我们可以通过自连接的方式，删除那些在重复组中但不是保留记录的行。 具体步骤（以保留id最小的记录为例）： 1. 首先，我们通过分组找出每组重复数据中id最小的记录（即我们要保留的记录）。 2. 然后，删除那些重复的且id不在保留记录id列表中的记录。 但是，在MySQL中，不能直接在同一语句中同时查询和更新同一张表。因此，我们需要使用中间表（如子查询）来绕过这个限制。 参考引用[4]中的例子： ```sql DELETE FROM your_table WHERE id NOT IN ( SELECT * FROM ( SELECT MIN(id) FROM your_table GROUP BY col1, col2 -- 根据哪些列判断重复 HAVING COUNT(*) > 1 -- 重复组 ) AS temp ) AND (col1, col2) IN ( SELECT col1, col2 FROM your_table GROUP BY col1, col2 HAVING COUNT(*) > 1 ); ``` 但是上面的语句可能效率不高，且逻辑复杂。更常见的做法是使用连接： 另一种写法（使用自连接）： ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 WHERE t1.id > t2.id -- 保留较小的id，删除较大的id（也可以改为保留较大的） AND t1.col1 = t2.col1 AND t1.col2 = t2.col2; ``` 注意：这个连接会删除所有重复组中除了最小id以外的所有记录。但是，这种方法会删除所有重复组，包括只有两条重复的。而且，如果重复组有多个（超过2条），它会将重复组中除了最小id的记录都删除。 但是，上面的自连接方法有一个问题：它会将每个重复组中除了最小id的记录都删除，但可能也会删除非重复组吗？不会，因为非重复组不会满足连接条件（因为只有一条，所以t1和t2不会同时存在且满足t1.col1=t2.col1和t1.col2=t2.col2且t1.id>t2.id）。所以，非重复组不会被删除。 然而，引用[4]中提供了另一种使用LEFT JOIN的方法（保留每组中gi_id最小的记录）： ```sql DELETE FROM chz_goods_img WHERE gi_id NOT IN ( SELECT gi_id FROM ( SELECT gi1.gi_id FROM chz_goods_img gi1 LEFT JOIN chz_goods_img gi2 ON gi1.gi_g_id = gi2.gi_g_id AND gi1.gi_type = gi2.gi_type AND gi1.gi_id > gi2.gi_id -- 这样，如果存在更小的gi_id，则gi2不为空，那么gi1就不是最小的 WHERE gi2.gi_id IS NULL -- 这样只选出最小的gi_id（因为对于最小的记录，找不到比它更小的，所以gi2为NULL） ) AS t ); ``` 这个语句可以保留每组（按gi_g_id和gi_type分组）中gi_id最小的记录，删除其他重复记录。注意，这里没有显式地判断重复，所以它会删除所有非最小id的记录（包括非重复组）。因此，这个语句会删除所有重复组中不是最小id的记录，同时也会保留非重复组（因为非重复组中，该记录本身也是最小id，且没有更小的，所以会被保留）。 但是，我们通常只想删除重复的记录，而保留非重复的记录。因此，上面的语句实际上也可以工作，因为它保留了每个分组（重复或非重复）的最小id记录，删除了其他记录。这样，非重复组只有一条记录，所以不会被删除（因为保留的就是它自己），重复组则只保留最小id的那条。 然而，我们可能只想处理重复数据，而不想影响非重复数据。上面的语句实际上也处理了非重复数据（虽然结果是非重复数据被保留，但执行了判断），所以是安全的。 但是，根据用户需求，我们只需要删除重复数据并保留一条。因此，我们可以使用这种方法。 总结：推荐两种方法 方法1（简单，但需要复制表结构，适用于数据量不大且无外键约束的情况）： ```sql -- 步骤1：创建临时表，存储去重后的数据 CREATE TEMPORARY TABLE temp_table AS SELECT * FROM your_table WHERE 1 GROUP BY col1, col2; -- 注意：这样分组，如果MySQL的sql_mode设置严格，可能会报错，因为非分组列可能有多个值。所以应该用聚合函数或者选择最小id的记录。 -- 更好的做法是明确指定保留哪条记录（例如，保留id最小的记录）： CREATE TEMPORARY TABLE temp_table AS SELECT MIN(id) AS id, col1, col2, ... (其他列) FROM your_table GROUP BY col1, col2; -- 但是，如果其他列有多个值，我们可能需要使用子查询或者聚合函数来获取对应最小id的其他列值？或者，如果其他列在重复组中相同，那么直接取任意一行都可以（因为重复）。或者，我们只根据重复列分组，然后通过id来获取整行？ -- 更安全的做法：使用子查询获取每个重复组的最小id，然后通过id来获取整行 CREATE TEMPORARY TABLE temp_table AS SELECT * FROM your_table WHERE id IN ( SELECT MIN(id) FROM your_table GROUP BY col1, col2 ); -- 步骤2：删除原表数据 DELETE FROM your_table; -- 步骤3：将临时表的数据插入原表 INSERT INTO your_table SELECT * FROM temp_table; -- 步骤4：删除临时表 DROP TEMPORARY TABLE temp_table; ``` 方法2（使用DELETE JOIN，更高效，但需要谨慎）： 我们使用自连接来删除重复记录，保留最小id的记录： ```sql DELETE t1 FROM your_table t1, your_table t2 WHERE t1.col1 = t2.col1 AND t1.col2 = t2.col2 AND t1.id > t2.id; ``` 这个语句将删除所有重复组中id不是最小的记录。注意：这个语句会删除重复组中除了最小id的所有记录，非重复组不会被删除（因为非重复组只有一条，不会满足t1.id>t2.id，因为t1和t2是同一组，但非重复组只有一条，所以t1和t2是同一行，而t1.id>t2.id不成立，所以不会删除）。 但是，这个语句有一个问题：如果重复组有3条记录，id分别为1,2,3。那么当比较id=2和id=1时，满足条件（2>1），所以id=2会被删除；当比较id=3和id=1时，满足条件，id=3也会被删除。所以最终保留id=1。这符合预期。 但是，如果重复组中有两条记录，id为1和2，那么id=2会被删除，保留id=1。 所以，这个语句可以达到目的，而且简单高效。 但是，需要注意的是，这种方法可能会因为表数据量大而执行较慢，因为它需要自连接。另外，确保在操作前备份数据。 因此，我们推荐使用第二种方法（DELETE JOIN）来删除重复记录并保留最小id的记录。如果希望保留最大id的记录，只需将`t1.id > t2.id`改为`t1.id < t2.id`。 步骤： 1. 备份数据（重要！） 2. 执行DELETE语句。 示例SQL（假设表名为`ceshi`，重复列为`name, class`，主键为`id`）： ```sql DELETE t1 FROM ceshi t1, ceshi t2 WHERE t1.name = t2.name AND t1.class = t2.class AND t1.id > t2.id; ``` 但是，请注意：如果重复组中，除了重复列外，其他列的值可能不同，那么这种方法只根据重复列（name,class）来分组，删除重复。如果其他列不同，但重复列相同，也会被视为重复。所以，请确保重复列的选择正确。 另外，如果重复组中，有部分记录某些列不同，但重复列相同，那么它们也会被删除（只保留一条）。所以，请根据业务需求选择合适的重复列。 最后，如果表中有大量重复数据，自连接可能会产生很大的中间结果，所以建议在非高峰时段执行，并确保有索引（在重复列上建立索引可以提高效率）。 总结步骤： 1. 确定重复列（例如，name, class）。 2. 确定保留规则（保留最小id还是最大id）。 3. 备份表（重要！）。 4. 执行DELETE语句。 示例：删除重复记录并保留最小id的记录 ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 ON t1.col1 = t2.col1 AND t1.col2 = t2.col2 WHERE t1.id > t2.id; ``` 注意：如果重复列中有NULL值，那么NULL与NULL在比较时，在MySQL中NULL=NULL返回未知，所以不会匹配。因此，这种方法不会将两个都为NULL的记录视为重复。如果需要将NULL视为相等，那么需要特殊处理（例如，使用<=>运算符，但JOIN条件中不支持<=>，所以可以改为使用IS NULL和IS NOT NULL的组合条件）。不过，通常NULL值不会被视为重复，所以这个删除操作不会影响包含NULL的记录。 如果重复列中可能有NULL，并且希望将NULL视为相等，那么可以这样修改条件： ```sql ON (t1.col1 = t2.col1 OR (t1.col1 IS NULL AND t2.col1 IS NULL)) AND (t1.col2 = t2.col2 OR (t1.col2 IS NULL AND t2.col2 IS NULL)) ``` 但是，这样会使条件复杂，且可能影响性能。因此，根据实际需求决定。 最后，如果表非常大，我们可以先找出重复的数据，然后分批删除。 以上是两种常用的方法，请根据实际情况选择。</think>### MySQL 删除重复记录并保留一条记录的方法 在 MySQL 中删除重复数据并保留每组重复记录中的一条，可以通过以下两种常用方法实现。假设表名为 `your_table`，重复依据列为 `col1, col2`，唯一标识列为 `id`： #### 方法一：使用临时表（推荐） ```sql -- 步骤1：创建临时表存储去重数据 CREATE TEMPORARY TABLE temp_table AS SELECT MIN(id) AS id, col1, col2 FROM your_table GROUP BY col1, col2; -- 步骤2：删除原表重复数据 DELETE t FROM your_table t LEFT JOIN temp_table tmp ON t.id = tmp.id WHERE tmp.id IS NULL; -- 步骤3：清理临时表 DROP TEMPORARY TABLE temp_table; ``` **原理**： 1. 通过 `GROUP BY` 分组找出每组重复数据中需保留的记录（通常保留最小/最大 ID） 2. 使用左连接删除不在临时表中的记录 3. 保留数据完整性，避免全表删除[^2] #### 方法二：直接删除（高效） ```sql DELETE t1 FROM your_table t1 INNER JOIN your_table t2 ON t1.col1 = t2.col1 AND t1.col2 = t2.col2 AND t1.id > t2.id; -- 保留较小ID（改为 < 则保留较大ID） ``` **原理**： 通过自连接定位重复组中需要删除的记录（保留每组中 ID 最小/最大的记录），执行效率较高[^4] #### 操作注意事项 1. **备份数据**：执行前务必备份 ```sql CREATE TABLE your_table_backup AS SELECT * FROM your_table; ``` 2. **添加索引**（大表优化）： ```sql ALTER TABLE your_table ADD INDEX idx_dup (col1, col2, id); ``` 3. **验证重复数据**： ```sql SELECT col1, col2, COUNT(*) FROM your_table GROUP BY col1, col2 HAVING COUNT(*) > 1; ``` #### 特殊场景处理 **需保留非最小/最大 ID 记录**： ```sql DELETE FROM your_table WHERE id NOT IN ( SELECT * FROM ( SELECT MAX(id) -- 或自定义选择逻辑 FROM your_table GROUP BY col1, col2 ) AS tmp ); ``` > **重要提示**：在 MySQL 8.0+ 中可使用窗口函数 `ROW_NUMBER()` 更高效处理，但需注意版本兼容性[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值