去除数据库重复记录只保留一条记录

最新推荐文章于 2025-07-02 00:06:23 发布

原创最新推荐文章于 2025-07-02 00:06:23 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#SQL

学习总结专栏收录该内容

29 篇文章

订阅专栏

本文介绍了一种使用SQL语句来解决数据库中重复记录的问题。针对因程序错误导致的城市-距离表中出现的重复数据，通过特定的SQL删除语句可以有效地清理这些冗余记录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在保存数据库操作时，将没有的字段直接存到数据库中，跑一个程序的时候可能会有多条重复存储的记录，导致数据库中有很多重复记录。

sql语句操作删除重复记录，保留一条记录即可。

比如我有一张表 CITY_DISTANCE城市-距离表

ID	CITY	DISTANCE

因为代码中只要不存在的城市我就会保存到数据库中，用的save，就可能会有重复的城市和距离了.

要去除，直接SQL语句就可以实现啦。

DELETE FROM CITY_DISTANCE 

WHERE CITY IN (SELECT CITY FROM CITY_DISTANCE GROUP BY CITY HAVING "COUNT"(CITY) >1 )

AND ID NOT IN (SELECT "MIN"(ID) FROM CITY_DISTANCE GROUP BY CITY HAVING "COUNT"(CITY) >1)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SalineJ

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

如何使用MySQL删除重复的记录并保留一条唯一的记录

一方的博客

05-31

685

将source表中所有source_id分组，并查询出分组中id最小的一个，比如id为1、2的source_id重复了，那么这个子查询将查询出id为1的记录。想要了解更多相关知识，可以查看我以往的文章，其中有许多精彩内容。外层的delete将会删除id不是1、3、5的，这样就可以将重复项删除，并保留分组中唯一的一条记录。我的微信公众号：【xdub】，欢迎大家订阅，我会同步文章到公众号上。所以子查询里查询的结果id为：1、3、5.

Oracle查询重复数据并删除，只保留一条记录

最新发布

lengxia0的博客

07-02

527

Oracle数据库删除重复数据的方法包括：1)使用ROWID子查询删除非最小ROWID记录；2)利用ROW_NUMBER()标记并删除重复行；3)通过创建临时表保留唯一数据后再导回。建议操作前备份数据，大表优先选择临时表法，注意处理表约束问题。

数据库删除重复数据，只保留一条有效数据

weixin_30376453的博客

01-05

819

删除表中“name”字段重复的数据 DELETE FROM table1 WHERE id NOT IN (SELECT id from ( SELECT min(id) AS id FROM ceshi GROUP BY name)a) 转载于:https://www.cnblogs.com/shujiying/p/10223362.html...

删除数据库中的重复数据，只保留一条

mxxxkuku的博客

11-10

4168

思路：先查找重复数据 这里定义id相同即为重复 select info from table_name group by id having count(*)>1 只保留一条，可选择id最大/最小的 select max(id) as store_id from table_name group by id having count(*)>1 上述查出的数据重新命名 (select max(id) as store_id from table_name group by

从mysql数据库删除重复记录只保留其中一条(保留id最小的一条)

weixin_41965172的博客

06-17

1399

准备数据表

数据库删除完全重复和部分关键字段重复的记录

09-14

对于部分关键字段重复的情况，通常我们需要保留重复记录中的第一条。这里以Name和Address为例，我们希望基于这两个字段得到唯一的结果集。以下是处理方法： 1. **MySQL** - 在`tableName`上新增一个自增的`autoID`...

Pgsql怎样找到表中某个字段值重复的记录并删除冗余记录,只保留一条

风柏杨的技术博客

04-10

1620

今天发现某个黄页爬取的数据有部分重复了，原本我用的公司详情页的url进行md5来作为主键做upsert入，但后面在核验数据时发现有些详情url虽是同一间公司的，但路由上有细微差别导致写入了重复的公司数据，所以要想办法清理掉重复的公司；除了有表id外，我的表里还有一个local_id字段，用于保存页面上的内部id，下面就从这个字段入手进行；

stata的清洗数据——去除重复数据

01-07

文章目录stata清洗数据——去除重复数据方法stata中的_N和_n（是去重操作的基础）去重操作对单一列：id对两列（及以上）：date 和证券代码 stata清洗数据——去除重复数据方法 stata中的_N和_n（是去重操作的基础）这个博客讲的非常清楚： stata:变量排序及_n与_N的用法 sort 证券代码 date by 证券代码 date:gen daycount = _N //对证券代码和date相同的观测：则产生计数变量：_N by date 证券代码: gen set=_n //对证券代码和date相同的观测：产生编号变量_n：从1到最后去重操作

sql 删除重复数据只保留一条

用数据说话

04-20

6218

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) 2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有ro...

sql删除重复数据只保留一条

XuJiangDong

07-23

687

用SQL语句,删除掉重复项只保留一条在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId)

mysql 删除一条数据_数据库中删除重复数据只保留一条

weixin_36031812的博客

02-01

338

处理数据库中的重复数据，只保存一条有效数据：1.新增自增列idalter table 表名 add _ID int identity (1,1);PostgresSQL：alter table 表名 ADD id serial ;PostgreSQL使用序列来标识分区的自增长，数据类型有smallserial，serial和bigserial。这些属性数据库MySQL数据库支持的AUTO...

Mysql数据库删除表中重复数据且只保留一条

BY的博客

01-10

220

删除重复数据并且只保留一条 delete from sys_role where code in ( select aaa.codee from ( select code as codee from sys_role group by code having count(code) > 1 ) aaa) and id not in (select bbb.iddd from ( selec...

Oracle数据库删除重复数据只留一条

weixin_45398545的博客

07-06

289

因为数据上传到平台一直报错（报了三四天了），一天报几万条数据错误，吓死我了，一直在找原因，还被被领导骂了一通，最后找到是因为抽取的数据重复的原因导致后台jar包运行一直报错，特别崩溃，然后查了一天，终于搞懂了。对这个rowid字段的用法不太理解，问大神：rowid就是伪列，相当于标识这条记录的一个ID。注意：建议不太会的小白先备份一份表，再操作。 --------快速备份语句----- create table table1 as select * from table2 ; 查询及删除重复

从mysql数据库删除重复记录只保留其中一条

lyg1153的博客

02-22

314

准备工作：新建表tb_coupon /* Navicat Premium Data Transfer Source Server : root@localhost Source Server Type : MySQL Source Server Version : 50527 Source Host : localhost:3306 Source Schema : leyou Target Server Type : My

关于SQL删除重复数据只保留一条

ccit0519的专栏

09-28

4160

用SQL语句,删除掉重复项只保留一条在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢 1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 select * from people where peopleId in (select peopleId from people group by peopleId havi

高斯数据库，两条记录删掉一条

05-01

### 删除指定一条记录在高斯数据库中，如果需要删除指定的一条记录，可以通过 `WHERE` 子句精确匹配条件来实现。以下是具体的 SQL 实现： ```sql DELETE FROM table_name WHERE column1 = value1 AND column2 = value2; ``` 此语句会根据给定的条件删除符合条件的第一条记录[^4]。为了确保只删除唯一的一条记录（即使有多条满足条件），可以结合 `LIMIT` 使用（注意：部分数据库可能不支持直接在 `DELETE` 中使用 `LIMIT`）。对于 GaussDB 数据库，可通过子查询的方式间接实现这一功能： ```sql DELETE FROM table_name WHERE id IN ( SELECT MIN(id) FROM table_name WHERE column1 = value1 AND column2 = value2 ); ``` 以上代码片段展示了如何通过子查询限定仅删除特定的一条记录[^3]。 --- ### 删除重复记录并保留一条当面对全字段重复或多字段重复的情况时，可采用以下两种常见策略之一进行处理： #### 方法一：基于临时表的去重创建一个新的无重复数据的临时表，并将其重新导入原表中替代旧数据。具体步骤如下所示： ```sql CREATE TEMP TABLE temp_table AS SELECT DISTINCT * FROM table_name; TRUNCATE TABLE table_name; INSERT INTO table_name SELECT * FROM temp_table; DROP TABLE temp_table; ``` 这种方法利用了 `DISTINCT` 关键字去除完全相同的行[^2]。 #### 方法二：使用窗口函数标记重复项借助窗口函数分配唯一的编号给每组内的每一行，从而方便识别哪些是多余副本而予以清除： ```sql WITH CTE AS ( SELECT *, ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id ASC) as rn FROM table_name ) DELETE FROM table_name WHERE id IN (SELECT id FROM CTE WHERE rn > 1); ``` 这里运用了 `ROW_NUMBER()` 函数按某些列分组后赋予序号，再依据该序号筛选出非首条记录加以移除[^1]。