mysql 百万级数据多字段去重

最新推荐文章于 2024-06-27 17:27:09 发布
原创 最新推荐文章于 2024-06-27 17:27:09 发布 · 1.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了数据库表数据去重的操作方法。先创建与原表结构相同的临时表，将去重后的数据插入临时表，再删除正式表，最后将临时表命名为正式表。若数据量多，可使用 limit 分批次插入数据，并给出了示例。

1，创建一张和需要去重表相同结构的临时表，命名 table_temp。

2，使用 insert into table_temp select * from tableName group by tableName.field_1,tableName.field_2,tableName.field_N 把去重过后的数据插入到临时表 table_temp。

3，删除正式表。

4，命名临时表名为正式表。

如果数据太多 可以 是用 limit 分批次向临时表里面插入数据。比如第一次 limit(0,1000000),第二次 limit(1000001,2000000),......

eg：insert into table_temp select * from (select * from tableName limit(0,1000000)) tableName group by tableName.field_1,tableName.field_2,tableName.field_N

MySql百万级数据去重保留一份，一对多合并处理
IBLiplus的博客
01-20 1974
最近帮运维组处理了一份急着上架的数据，大概有140万量，下面我们看一下是怎样处理的吧。 这批数据大部分都是重复的，经过处理的数据大概在30万左右，然后进行一对多合并处理，最后的数据量大概在1万左右。 下面提供了两种方法或思路，第一种思路是网上提供的比较多的一种，就是通过唯一性约束的字段进行排序，然后查询处理出来的这些数据都是重复数据的第一条，所以id必然是这些重复数据最小的，然后删除调这些重复...
mysql优化小技巧之去除重复项实现方法分析【百万级数据】
09-08
主要介绍了mysql优化小技巧之去除重复项实现方法,结合实例形式分析了mysql去除重复项的方法,并附带了随机查询优化的相关操作技巧,需要的朋友可以参考下
MySQL 的一次百万级数据快速去重经验分享
xmt1139057136的专栏
06-01 2333
最近在处理项目组的一个数据集，数据量每张表在百万级，由于数据量较大在数据下载和处理方面都可以说是旷日持久，这篇记录一下相关的经验。「数据下载」拿到的数据是在远程数据库里面，原先打算直接从远...
mysql百万级数据快速去重处理
ooohome的博客
09-12 3977
先说说情况吧,我有一个数据库,560多万条数据,其中有一个字段(user_id)需要唯一,但目前表中该字段有60多万条的重复数据,需要做去重处理,搜了网上的各种神贴,都不太好用,最后经过我自己的思考与实践,终于找出来一条捷径,处理时间只需要3-5分钟,下面说说操作步骤吧   1.先对要去重的表进行索引(处理重复的那个字段). 2.将数据group by后导入到新的表中,导入时,可能需要分多...
jdbc连接orcle数据库_java连接Oracle数据库
weixin_29017445的博客
12-29 244
importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;importjava.sql.ResultSet;importjava.sql.ResultSetMetaData;importjava.sql.SQLException;public classOperateOracle ...
再战mysql 数据去重
jarjune的博客
11-13 300
再战mysql 数据去重 年初时，写过一篇去重的，在小表中还能用用，在大表中真的是效率低下，现在给了一次优化 https://www.cnblogs.com/jarjune/p/8328013.html 继上一篇文章 方法三： DELIMITER // DROP PROCEDURE IF EXISTS delete_rows_2; CREA...
Mysql删除重复数据：百万级别数据
qq_43185254的博客
08-07 529
减新表存不重复的最小id，id列加索引；删除需要去重的表根据不在id不在新表的所有id中，根据字段对数据进行分组，查询出所有分组的最小ID（即要保留的不重复数据）(1)：先把min(id)存到临时表（SZ_Building_id）(2)：给临时表的id设置成主键或者创建索引（加快后面的查询速度）将查询出来的数据（所有不重复的数据）存放到临时表中。从原来的表中删除ID不在临时表中的重复数据。(3)：删除id不在临时表的数据。
百万级数据去重
weixin_44295677的博客
07-13 1791
百万级数据去重
【问题整理】MySQL大量数据去重处理
weixin_34038652的博客
08-17 1012
由于工作中需要进行数据去重，所以做一下记录，其实是很小白的问题。。。。 其实对于数据去重来讲，最好的是在设计程序和数据库的时候就考虑到数据冗余问题，不插入重复的数据。但是呢，，，这个项目，如果其中的两个字段同时重复，就算冗余，但是还需要自增长的id作为主键方便查询。。。。so。。。算了，我写完数据自己去重吧。。。 因为有大量的重复数据，所以选择的去重方法是...
一种去重方法，去掉每个字段值都相同
dietuiyang8772的博客
05-19 196
// 去重: examId , itemno,userId, topicId, score 暂无用，已在sql中处理了 private static void removeDuplicate(List<ExamResultVO> oldList) { 　　for( int i=0; i<oldList.size()-1 ; i++ ) { 　　...
京东太狠：100W数据去重，用distinct还是group by，说说理由？
架构师尼恩
06-04 1332
本文收录于 《尼恩Java面试宝典》 V73版PDF，请到文末公号【技术自由圈】获取基本上，把尼恩的 《尼恩Java面试宝典》吃透，大厂offer很容易拿到滴。最终，让面试官爱到 “不能自已、口水直流”。offer， 也就来了。学习过程中，如果有啥问题，大家可以来 找 40岁老架构师尼恩交流。
【Mysql数据库】百万级的数据量中删除重复数据，并保留其中一条
Leo_Loves的博客
06-27 889
最近工作遇到个问题。有一个表的数据是从多个excel导入的，但是导入的数据中可能会出现重复数据，整个数据表的数据量又特别大，查找于是怎么删除重复数据对我来说就是个头疼的问题。网上查过很多资料，但是可能是因为我这个数据量太大的情况，不太适用，按照他们的方法代码，我先select要删除的数据先查看一下，但是执行半天都没有反应。后面请教了个大佬，按照她的方法处理了下，很快就完成了。先上截图在600多万的数据中删除30多万的数据，只要111秒，可以说是比较快了。主表和临时表一定要加索引，能极大加快查询速度。
几百万的数据查找重复值_快速查找删除重复数据，这三个方法最简单
weixin_39581845的博客
12-09 1841
在用Excel处理数据的过程中，我们比较担心的一个问题就是大量数据中出现许多的重复数据内容。今天我们就来学习三个最简单的查找删除重复数据的方法。案例说明：如下图，我们需要核对剩余库存单号中是否还存在已经出库的单号。我们需要快速将对应的单号找出并删除。方法一：vlookup函数快速查询删除重复值函数公式：=VLOOKUP(A2,D:D,1,0)函数解析：1、这里我们通过vlookup函数匹配查找的方...
mysql百万级去除重复数据_php mysql百万级数据去除重复数据
weixin_39556811的博客
02-07 265
//定义一个数组，用于存放排重后的结果$result = array();//读取uid列表文件$fp = fopen('test.txt', 'r');while(!feof($fp)){$uid = fgets($fp);$uid = trim($uid);$uid = trim($uid, " ");$uid = trim($uid, " ");if($uid == ''){continue...
MongoDB数据去重（单字段和多字段去重）（百万级数据）
m0_61720747的博客
01-03 1万+
MongoDB数据去重（单字段和多字段去重）（百万级数据处理） 1、打开Mongo数据库，查询是否有数据重复 ①、查询DB_Name数据库中的item_id字段重复数据： 2、数据去重处理 原理：先将重复的数据加入到一个数组dups中，然后再利用forEach循环将dups数组的数据全部删除
SQL统计某个字段去重后的数量
热门推荐
Blog
07-26 1万+
SELECT COUNT(DISTINCT 去重的字段) from 表名称 WHERE IsDeleted=0;
MySQL怎么根据某一字段去重
最新发布
07-30
### 三级标题：MySQL中对某一字段去重的实现方式 在 MySQL 中，若需要对某一字段进行去重查询，可以使用 `DISTINCT` 或 `GROUP BY` 两种方式。这两种方法虽然在某些场景下功能相似，但在具体行为和性能上存在一定差异。 `DISTINCT` 关键字用于返回唯一不同的值，当查询多个字段时，它会对所有字段的组合进行去重，而不仅仅针对某一个字段。例如，若仅需对 `user_name` 字段进行去重，则应使用如下语句： ```sql SELECT DISTINCT user_name FROM u_user; ``` 这种方式仅对 `user_name` 字段进行去重，不会影响其他字段的查询结果，适用于只需要获取单一字段唯一值的场景[^1]。 相比之下，`GROUP BY` 是一种更通用的去重方式，它不仅能够实现去重功能，还能配合聚合函数（如 `COUNT()`、`SUM()` 等）进行更复杂的统计分析。使用 `GROUP BY` 对某一字段去重的示例如下： ```sql SELECT user_name FROM u_user GROUP BY user_name; ``` 该语句将 `user_name` 字段相同的记录归为一组，最终返回的也是唯一的 `user_name` 值。与 `DISTINCT` 不同的是，`GROUP BY` 的主要目的是分组统计，因此在某些情况下性能会略低于 `DISTINCT`，尤其是在不需要聚合计算时[^2]。 尽管两者在去重效果上相似，但它们的行为和适用场景略有不同。`DISTINCT` 更适合于简单的去重需求，而 `GROUP BY` 则适用于需要分组后进行统计的复杂查询。此外，`DISTINCT` 仅对查询结果中的字段组合进行去重，而 `GROUP BY` 在分组过程中会进行额外的排序和聚合准备操作，因此在性能上存在一定差异[^4]。 ### 三级标题：去重字段的组合行为 需要注意的是，`DISTINCT` 对所有查询字段均起作用，即只有当所有字段的值完全相同时才会被去重。例如，在查询 `name` 和 `sex` 字段时： ```sql SELECT DISTINCT name, sex FROM student; ``` 该语句会对 `name` 和 `sex` 的组合值进行去重，如果 `name` 相同但 `sex` 不同，则不会被去重[^3]。 ### 三级标题：性能优化建议 在处理大数据量的表时，应根据具体需求选择合适的去重方式。如果仅需获取唯一值而不需要进行聚合操作，建议优先使用 `DISTINCT`；如果需要进行分组统计，则应使用 `GROUP BY`。此外，无论使用哪种方式，都应确保相关字段上有适当的索引以提高查询效率[^2]。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值