删除掉mysql数据库某张表中完全重复数据的方法

最新推荐文章于 2025-01-19 07:00:00 发布
最新推荐文章于 2025-01-19 07:00:00 发布
阅读量3.9k 收藏 1
点赞数
分类专栏： 数据库 文章标签： sql mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liujl6/article/details/42182043
版权
面对含有400万条数据的表，由于导入或数据源问题导致大量重复，博主采取了为表增加唯一ID并删除完全重复条目的方法。通过设置自增ID并利用SQL语句去除重复数据，解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

需要处理的表大概包含400万条数据，首次运行php代码之后发现完全重复的数据有很多，原因可能是导入时重复导入某张表(当时一起导入超过30份数据到同一个表可能出错)，也有可能拿到的数据中存在重复数据，因此我萌生了删除掉重复数据只剩一个的想法。

在网上没有找到太多的资料，因为我想要删除的是表中内容完全一致的条目而且具有多个主键，而网上只有这里找到了一个删除除了自动编号不同,其他都相同的学生冗余信息的方法，于是我想到可以给我的表中数据前加入一个单一的id用于区分，然后可以使用上述方法。这里记录了设置自增型id的方法。设置之后的效果如下：

最低0.47元/天 解锁文章
mysql回滚数据_MySQL回滚到某一时刻数据的方法
weixin_29774611的博客
01-18 3444
对于有归档日志的数据库来说，原理上都具备全库回滚到之前某一时刻的能力。在这方面最好用的Orale数据库，使用Oracle数据库的RMAN工具，可以方便的设置全备，增备保留的时间和自动清理，RMAN自己记录之前做过哪些备份操作，有一份备份列表，所以可以全自动的根据全备、增备、归档日志进行回滚，只需一条命令。这个可以参考我之前写的博客mysql不同于oracle和db2这种企业级数据库，它没有orac...
MySQL数据库基本操作
热门推荐
Drw_Dcm的博客
09-09 5万+
MySQL数据库基本操作
MySQL 删除数据库中重复数据方法小结
12-15
刚开始，根据我的想法，这个很简单嘛，上sql语句 delete from zqzrdp where tel in (select min(dpxx_id) from zqzrdp group by tel having count(tel)>1); 执行，报错！！~！~ 异常意为：你不能指定目标表的更新在FROM子句。傻了，MySQL 这样写，不行，让人郁闷。 难倒只能分步操作，蛋疼 以下是网友写的，同样是坑爹的代码，我机器上运行不了。 1. 查询需要删除的记录，会保留一条记录。 select a.id,a.subject,a.RECEIVER from test1 a left jo
Mysql大数据表删除重复数据
泊川
06-17 588
对没有索引的字段进行查询重复时如果使用select name from table where name in(select name from table group by name having count(name)>1)这类查询，效率非常低，是不可取的，下面给出替代步骤： 1.根据重复记录创建临时表 create table   temptable as (   select titl
MySQL 中删除重复数据 SQL 写法，从零基础到精通，收藏这篇就够了！
最新发布
Javachichi的博客
01-19 1558
• 使用left join删除重复数据(推荐使用)，适合大数据量，性能 OK• 创建临时表 适合需要重建数据表的场景，适合数据量中等的情况，不过比较繁琐• 自连查询 能保留最小 ID，适合不想改变 ID 的情况下删除重复数据。黑客/网络安全学习路线对于从来没有接触过黑客/网络安全的同学，目前网络安全、信息安全也是计算机大学生毕业薪资相对较高的学科。大白也帮大家准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。
删除一张表中相同的数据
jiayue's BLOG
07-03 174
删除一张表中相同的数据
MySQL - 删除一张表
qq_29761395的博客
04-18 1597
文章目录环境删除一个表参考 环境 MySQL 数据库版本信息： mysql> status -------------- mysql Ver 14.14 Distrib 5.7.30, for Linux (x86_64) using EditLine wrapper Server version: 5.7.30 MySQL Community Server (GPL) 删除一个表 现在，我的数据库中有一个 user 表： mysql> SHOW TABLES; +---
mysql不同数据库不同数据表导入数据
12-15
此外，对于MySQL数据库的日常管理，了解各种存储引擎如MyISAM和InnoDB的性能差异、查找和处理重复数据、高效删除表数据以及表结构和字段的增删改查都是十分重要的技能。通过掌握这些知识，可以更好地应对各种数据库...
Mysql数据库误删恢复方法.docx
12-10
在日常工作中，如果不慎删除了重要的MySQL数据库，可能会造成极大的数据损失。本文将详细介绍如何通过`.frm`和`.ibd`文件来恢复已删除的MySQL数据库，主要包括三个关键步骤：恢复数据库文件、恢复表结构和恢复表数据...
删除数据库表中重复数据的总结（oracle）
12-14
这里的重复数据指数据库中每一列的值都相同的数据，有时候也许是没有主键的原因导致数据可能重复，或者是，除了主键，其他数据重复，那么下面的方法可以都这些重复数据进行删除，保留下重复数据中的一行可以。 　　大体可以分为两个方法 ：一种要用rowid来进行删除，另外一种，则是用临时表来进行删除。这里讲四种方法： 　　现在假设 表test中有，三个列col1，col2，col3;在这样的表里有很多数据是重复的，现在的目标是对这些数据中重复的数据进行删除，保留下的数据都是不重复的。 　　第一种方法： 　　Delete from test where rowid not in(select 
清除SQL数据库里的重复记录
01-23
教你如何在SQL数据库后台通过SQL语句删除重复SQL记录。
mysql删除重复记录,保留id最小的数据
sl807826634的博客
06-01 265
delete from student where id not in (select minid from (select min(id) as minid from student group by name) b);
Mysql 删除数据表的三种方式详解
狼魂之力
06-29 576
用法： 1、当你不再需要该表时， 用 drop; 2、当你仍要保留该表，但要删除所有记录时， 用 truncate; 3、当你要删除部分记录或者有可能会后悔的话， 用 delete。 删除程度可从强到弱如下排列： drop table tb; drop 是直接将表格删除，无法找回。例如删除 user 表： drop table user; 2. truncate （table） tb; truncate 是删除表中所有数据，但不能与where一起使用； TRUNCATE TABLE user;
别再浪费时间了！用 MySQL DISTINCT 轻松消灭所有重复数据的秘诀
小白的大数据之旅的博客
10-17 1241
DISTINCT 是 MySQL 中用于从查询结果中去除重复记录的关键字。当需要获取唯一值或组合时，可以在 SELECT 语句中使用DISTINCT。它可以应用于单列或多列，并可与聚合函数（如 COUNT）结合使用，以统计唯一值的数量。
MySQL删除完全重复的数据
asheng的博客
07-14 4968
想从idea直接删除一条数据，但是有数据回滚 以下方法的前提是能确定数据完全一致，并且有区别其他数据的字段 Unexpected update count received (Actual: 2, Expected: 1). All changes will be rolled back. 一行代码解决 DELETE FROM test WHERE number = 1 and name = '小明' LIMIT 1; 执行后的结果 如果是多条重复的数据，可以先查询数量（count *），再去修改l
MySql删除表中重复数据
夜の雨的博客
10-25 3284
有一表中存在大量重复数据 在此记录下我删除表内重复数据的方法以下以单个字段不能重复测试。
mysql查询表里的重复数据方法和删除重复数据
下一个奇迹
05-27 6420
mysql查询表里的重复数据方法： 1 2 3 4 INSERT INTO hk_test(username, passwd) VALUES ('qmf1', 'qmf1'),('qmf2', 'qmf11')   delete from hk_test where username='qmf1' and passwd='qm
如何删除表中的重复记录只保留其中一条
DAO的博客
09-20 5190
在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢?谢谢! 1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 select   *   from   people where   peopleId   in   (select     peopleId     from     people     group     by  
全国地市区数据的MySQL导入脚本
之后，用户可以将这些脚本导入到MySQL数据库中，从而在自己的数据库中创建地市区相关的数据表并存储相应的数据。 标签“地市区 mysql sql 脚本 一张表”进一步强调了上述知识点。标签中的“地市区”再次明确了数据...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值