mysql去重

最新推荐文章于 2025-11-26 14:12:29 发布

原创最新推荐文章于 2025-11-26 14:12:29 发布 · 134 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

本文介绍了一种方法，通过建立临时表、添加唯一限制、备份原始表并重命名，来解决afl_taobao_rate表中oid重复的问题。

select count(*),oId from afl_taobao_rate group by oId order by count(*) desc
afl_taobao_rate 里面的oid重复，要求重复只留一条
1.建立临时表
create table tmp as select * from afl_taobao_rate group by oId

2.给临时表加uniqu限制
ALTER TABLE tmp ADD unique(`oId`);

3.备份原始表
alter table afl_taobao_rate rename afl_taobao_rate2

4.将临时表改为目标表
alter table tmp rename afl_taobao_rate

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_4926

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

mysql去重查询的三种方法

eagle89的专栏

06-17

3444

mysql去重查询的三种方法

MySQL去重的方法整理

09-09

总的来说，MySQL去重的方法可以根据实际需求选择合适的方法，从简单的`DISTINCT`查询到复杂的多字段去重，甚至在数据完全相同的极端情况下，通过创建临时主键来实现去重。在操作时，务必谨慎，避免误删重要数据，...

参与评论您还未登录，请先登录后发表或查看评论

mysql去重面试总结

03-23

708

mysql去重面试总结前言：题目大概是这样的。。。建表： CREATE TABLE `test2` ( `id` int(11) NOT NULL AUTO_INCREMENT, `peopleId` int(11) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=...

mysql去重函数

I‘m程序媛的博客

12-20

550

在这个例子中，ROW_NUMBER()函数为每组column1, column2相同的行分配了一个序号，PARTITION BY子句定义了分组的列，ORDER BY子句定义了序号分配的顺序。注意，当使用GROUP BY时，如果选择了未在GROUP BY子句中指定的列，并且这些列不是聚合函数的一部分，那么结果是不确定的。在 MySQL 中，去重并不是通过一个特定的“去重函数”来实现的，而是通过特定的 SQL 语句和子句来完成。它作用于所有指定的列，确保结果集中的每一行都是唯一的。

mysql 去重

qq_36016297的博客

04-07

1480

在这个例子中，SELECT 语句选择了表 table1 中的列 column1 和 column2，并使用 GROUP BY 子句来将结果分组，并在分组后使用 DISTINCT ON 子句来去除重复的行，其中 DISTINCT ON (column1, column2) 指定了使用 column1 和 column2 列来过滤重复的行。使用 GROUP BY 子句去重的方法是，在 SELECT 语句中使用 GROUP BY 子句来将结果分组，并在分组后使用 DISTINCT 关键字来去除重复的行。

【MySQL】MySQL去重查询详解

一个普通程序员的成长记录簿

08-08

561

本文详细介绍了MySQL中的三种去重方法：DISTINCT关键字、GROUP BY子句和ROW_NUMBER()窗口函数。DISTINCT适用于简单去重场景，能够去除查询结果中的重复行；GROUP BY不仅能去重，还可结合聚合函数进行分组统计；ROW_NUMBER()则适用于复杂去重需求，可为分组数据分配序号实现精确去重。文章通过实际SQL示例分析了每种方法的语法、工作原理和适用场景，并提供了性能优化建议，帮助开发者根据实际需求选择最合适的去重方案。

MYSQL去重

qq_46012811的博客

10-26

414

可以查询出使用distinct修饰的字段去重以后的记录，可以多个字段。1、先查询出每种重复记录中id最小的那条记录的id。3、在原表中删除其他记录。

mysql去重统计

热门推荐

qq_42604017的博客

08-02

1万+

按照业务需求选择不同的的去重方法。

MySQL去重

wang_x_hao的博客

10-31

611

关于数据库去重问题的分析根据条件分析数据查询SQL： SELECT ... FROM table （如果还其他条件加）WHERE ... GROUP BY 重复的条件 HAVING count(*)>1 数据分析： 1、根据姓名、身份证号查询重复数据排除数据来源是0、1的和姓名为空的数据查出来重复数据共有19661条，包含系统界面中有明显问题的数据 2、重复的数据只有ID不一样...

mysql 去重where_mysql去重

weixin_26899659的博客

01-27

626

select a.id,a.ssmz,(select count(ssmz) from shop_tourist_key b where b.ssmz=a.ssmz) as countfrom shop_tourist_key a WHERE a.ssmz is not null group by a.ssmz LIMIT 0,3;select a.id,a.ssmz,(select count(...

mysql去重分组_mysql 分组去重

weixin_28882565的博客

01-19

877

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户的数据库应用系统进行性能和风险评估，参与配合进行数据压测演练，提供数据库优化方面专业建议，在业务高峰期与用户共同保障数据库系统平...

mysql去重的两种方法详解及实例代码

09-09

在MySQL中，去重是常见的数据处理需求，主要目的是消除数据表中重复的记录。本文将详细介绍两种在MySQL中实现去重的方法，并提供相应的实例代码。 ### 方法一：使用DISTINCT关键字 `DISTINCT` 是MySQL中用于去除...

将MySQL去重操作优化到极致的操作方法

12-16

在MySQL数据库中，进行去重操作是常见的需求，特别是在处理大量数据时，高效地完成这一任务至关重要。本问题中，我们需要从源表`t_source`中提取出不重复的`created_time`和`item_name`组合，并将这50万条唯一的记录...

对Docker部署的MySQL中的数据进行备份恢复

2509_94228395的博客

11-25

304

使用Docker部署的MySQL进行备份/恢复与传统方式类似，但需要考虑Docker容器的特殊性。以下是详细的步骤，帮助你在Docker环境中进行MySQL的全量备份。

面试必问——Redis 主从同步

2301_79966297的博客

11-26

264

偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。salve完成同步时也会记录当前同步的offset。如果salve的offset小于master的offset，说明salve的数据落后于master，需要更新。：简称replid,是数据集的标记，id一致则说明是同一个数据集。每个master都有唯一的replid,salve则会继承master节点的replid。：单点的Redis的并发能力是有限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。

PostgreSQL 17 发布了！非常稳定的版本

2509_94007342的博客

11-23

253

这些新特性和改进不仅提升了数据库的性能和功能，也增强了数据库的可用性和灵活性，使得 PostgreSQL 17 成为一个值得期待的版本。

基于Python与Go构建云原生微服务自动化运维平台的架构设计思路实践策略与性能优化方法全流程解析

最新发布

2501_94114213的博客

11-26

340

Python 提供灵活的任务调度与编排能力，Go 提供高并发、高吞吐的任务执行与采集能力。两者结合构建的云原生微服务运维平台能够在大规模环境下实现：自动化高可靠弹性扩展可观测高性能随着企业上云进程加速，Python + Go 的混合运维平台将成为云原生运维的标准实践方案。

C++结合Redis与WebSocket构建高并发实时在线游戏服务设计与实战分享：成都多人竞技游戏架构优化经验

2501_94187145的博客

11-23

965

C++ 异步 IO + WebSocket保证实时交互低延迟Redis 缓存玩家状态与排行榜支持跨服共享异步事件队列削峰提高并发处理能力动态扩容 + 自动负载均衡保证系统高可用监控与告警体系确保长期稳定运行通过该架构，成都多人在线竞技游戏实现百万级玩家实时互动、低延迟战斗同步和高可用运行，为玩家提供流畅竞技体验和系统稳定保障。

MYSQL 去重

03-21

### MySQL 去重方法及其实现在 MySQL 数据库中，去重是一个常见需求，可以通过多种方式实现。以下是几种主要的去重方法及其具体实现： #### 使用 `DISTINCT` 关键字 `DISTINCT` 是一种简单而有效的方式，用于返回唯一的不同值组合。它可以直接应用于列或者多个列上以去除重复项。 ```sql SELECT DISTINCT column_name FROM table_name; ``` 这种方法适用于简单的场景，当只需要获取某一列或多列中的不重复记录时非常有用[^1]。 #### 利用 `GROUP BY` 子句除了 `DISTINCT` 外，还可以使用 `GROUP BY` 来达到相同的效果。这种方式不仅可以去掉重复数据，还能配合聚合函数一起使用，比如计算每组的数量或其他统计数据。 ```sql SELECT column_name FROM table_name GROUP BY column_name; ``` 需要注意的是，在性能方面，对于大规模数据集来说，`GROUP BY` 的执行速度可能不如 `DISTINCT` 高效[^3]。 #### 应用窗口函数 `ROW_NUMBER()` 进行复杂去重随着版本更新至8.0及以上之后，MySQL 开始支持窗口函数，这使得我们可以更加灵活地处理复杂的业务逻辑问题。例如下面的例子展示了如何利用 `ROW_NUMBER()` 函数标记每一行并保留第一条作为代表来进行更精细控制下的删除动作。 ```sql WITH CTE AS ( SELECT *, ROW_NUMBER() OVER(PARTITION BY duplicate_column ORDER BY some_ordering_field) as row_num FROM your_table ) DELETE FROM your_table WHERE id IN (SELECT id FROM CTE WHERE row_num > 1); ``` 此脚本首先创建了一个公共表达式(CTE)，其中包含了原始表格加上额外的一列row_num表示该分区内按指定顺序排列后的序号；接着再基于这个结果集中找出那些不是第一个实例的所有行予以移除[^4]。 #### 统计不同维度上的去重数量有时候我们不仅仅关心如何去掉冗余的信息本身，还希望了解到底存在多少种独特的组合形式以及它们各自对应的频次分布情况等等附加信息，则可以采用如下所示的形式完成相应任务目标设定： ```sql SELECT SUM(c) total_count FROM( SELECT COUNT(DISTINCT col_a,col_b) c FROM tbl_x UNION ALL SELECT COUNT(DISTINCT col_c,col_d) c FROM tbl_y )AS subquery_alias ; ``` 上述代码片段演示了跨两个独立关系型结构之间分别实施差异化考量后再累加得到最终总数的过程[^5]。 ### 性能对比与适用场合分析不同的去重手段各有优劣之处，实际应用过程中应根据具体情况选择最合适的方案： - 如果只是单纯想查看某几字段联合起来是否存在多条完全一致的情况那么优先考虑distinct； - 当涉及到进一步加工运算诸如求平均值之类的操作则推荐选用groupby； - 而针对一些特殊定制化的需求像只保存最新版之类的要求就不得不借助于高级特性如window function来满足预期效果了。总之，理解这些技术背后的原理有助于开发者做出明智决策从而优化整体解决方案的质量水平。