关于数据去重（distinct）

最新推荐文章于 2025-09-24 11:46:13 发布
原创 最新推荐文章于 2025-09-24 11:46:13 发布 · 989 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种在SQL查询中使用DISTINCT关键字去除重复记录的方法，并通过具体示例展示了如何在分页查询中正确应用数据去重，确保查询结果的准确性。

数据去重SQL：

//DISTINCT对下面的字段进行去重
hqlStr.append(" 
SELECT DISTINCT
si.DOCTOR_ID,SI.PATIENT_ID,ME.NAME,ME.ID_NUMBER,
ME.GENDER_CODE,ME.PHONE_NUM,ME.BIRTHDAY,
ME.MEMBER_PHOTO,ME.UNIT_ID,
ME.ASSIGNED_FLAG  
FROM T_SIGN_CONTRACT si,T_MEMBER me 
WHERE si.PATIENT_ID=ME.MEMBER_ID  
AND si.DOCTOR_ID='"+ doctorId + "'");

service实现层的方法代码如下：

public PagerModel findMemberByDoctorId(SignContractDto dto){
     PagerModel pagerModel = dto.getPageModel();
     if(pagerModel==null){
        pagerModel = new PagerModel();
        dto.setPageModel(pagerModel);
        }
        //调用DAO 拼接查询条件
        signContractDao.buildPagerModelQuery(dto);
        //调用分页查询方法
        commonService.fillSqlPagerModelData(pagerModel,FindMyMemberVo.class,"SI.DOCTOR_ID");
        return pagerModel;
    }

这里有个问题，就是dao层中的数据去重，但是在commonService中的分页查询公共方法没有去重，所以会出现pagedata的数据可能会与totals中的数据不同（在有数据重复的情况下）。

修改方法：

    public PagerModel findMemberByDoctorId(SignContractDto dto){
        PagerModel pagerModel = dto.getPageModel();
        if(pagerModel==null){
            pagerModel = new PagerModel();
            dto.setPageModel(pagerModel);
        }
        //调用DAO 拼接查询条件
        signContractDao.buildPagerModelQuery(dto);
        //调用分页查询方法
        commonService.fillSqlPagerModelData(pagerModel,FindMyMemberVo.class,"distinct(SI.PATIENT_ID)");
        return pagerModel;
    }

在fillSqlPagerModelData的第三个参数写上要去重的条件distinct(SI.PATIENT_ID)（这里不是写主键！）

SQL SELECT DISTINCT 语句详解：精准去重的艺术
威哥说编程
04-04 3724
DISTINCT是 SQL 中的一个关键字，用于从查询结果中去除重复的记录。当你只关心查询结果中每个唯一值时，DISTINCT能有效地帮助你精简结果集。：指定你想要查询的列。table_name：查询的目标表。是一个强大的工具，能够帮助我们精准地从查询结果中去除重复数据。在日常开发中，理解其工作原理和常见的应用场景，可以有效提升数据查询的效率和准确性。去重单列或多列DISTINCT可以应用于单列或多列，用于去除重复数据。与聚合函数结合DISTINCT可以和聚合函数一起使用，进行更复杂的数据分析。
数据去重，用DISTINCT还是GROUP BY？
Java/Python大数据随笔
12-28 1428
MapReduce Job卡在了最后一个ReduceTask，任务迟迟未运行成功，ReduceTask只有一个如果某个Job任务卡在99%不动，例如，某个Reduce的时间比其他Reduce时间长的多，大部分Task在1分钟左右完成，只有一个Task执行20多分钟还没完成。这时我们就应该考虑出现数据倾斜了如果每个ReduceTask执行时间差不多，都特别长，不一定是数据倾斜导致的，可能是ReduceTask设置过少导致的。这时可以调整ReduceTask个数。
数据去重（完全去重和不完全去重）
weixin_56814370的博客
04-01 1万+
数据去重（完全去重和不完全去重）
SQL去重distinct方法解析
weixin_30617695的博客
09-17 3648
来源：https://www.cnblogs.com/lixuefang69/p/10420186.html SQL去重distinct方法解析 一 distinct 含义：distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段 用法注意： ...
SQL入门：去重技巧-DISTINCT高效实战
最新发布
xwxty的博客
09-24 1187
SQL去重操作通过DISTINCT关键字实现，用于获取唯一值记录。主要包含单字段去重（如SELECT DISTINCT user_id）和多字段组合去重（如SELECT DISTINCT city,gender）。常与COUNT()结合统计不重复数量（如COUNT(DISTINCT user_id)）。注意事项：DISTINCT作用于所有字段、NULL值视为相同、可能影响性能。适用于提取唯一值列表、统计独立实体数量等场景，是数据查询和分析的常用操作。
关于distinct——去除重复记录
heliuerya的博客
01-10 4528
关于distinct——去除重复记录
MySQL中使用distinct单、多字段去重方法
专注自动化、性能测试、测试架构学习交流
03-27 1万+
多个字段拼接去重是指将多个字段的值按照一定的规则进行拼接，并去除拼接结果。这样可以生成唯一标识符或者进行数据统计。
mysql中去重 distinct用法
12-14
总之，`DISTINCT`是MySQL中非常实用的功能，用于处理数据去重，但应谨慎使用，尤其是在大型数据集上，以避免性能问题。根据实际需求，结合`GROUP BY`和聚合函数，可以实现更复杂的去重和统计操作。
精选资源
C# 实现Distinct将对象按条件去重
01-19
平时，我们将c#中的Distinct大多用于对数组去重，一般数组为基础的数据类型，例如 int,string.也可以用于对象去重，我们看看C#对Distinct方法的定义： 有重载，第一个参数都加了this,是拓展方法，有关拓展方法，请...
Mysql中distinct与group by的去重方面的区别
12-14
在MySQL数据库中，`DISTINCT` 和 `GROUP BY` 是两个非常重要的SQL关键字，它们都可以用来处理数据的去重问题，但在实际应用中，两者的使用场景和效果有所差异。 首先，`DISTINCT` 关键字的主要作用是去除查询结果中...
sqlalchemy查询多列去重，单列去重 distinct
nongcunqq的博客
09-10 8280
单列去重 #导入distinct from sqlalchemy import create_engine, Column, String, Integer, func, distinct s2 = session.query(distinct(Sites.site)).all() 多列去重 s2 = session.query(Sites.site, Sites.aws_sku).distinct(Sites.site, Sites.aws_sku).all() 参考 https://docs.sq
oracle sql 去重复记录不用distinct如何实现
09-11
本文将详细介绍oracle sql 去重复记录不用distinct如何实现,需要了解的朋友可以参考下
Distinct自定义去重
03-01
今天遇到一个数组再分组的情况，思路是先找到分组的原则，之后再遍历一次得到分组的数据。 就是把所有重复的数据去掉，（分组依据） 重写了IEqualityComparer接口，并实现了它，但是有一点当明没有搞明白。就是第二个gethashcode的作用，后来发现
php tp3.2 去重方法,ThinkPHP5 查询去除重复（distinct）及合并重复（group）
weixin_39591455的博客
03-18 715
官方是这样描述的：DISTINCT 方法用于返回唯一不同的值 。例如数据库表中有以下数据以下代码会返回user_login字段不同的数据Db::table('think_user')->distinct(true)->field('user_login')->select();生成的SQL语句是： SELECT DISTINCT user_login FROM think_use...
【项目】数据去重
冯浩月
12-07 320
前言      小编做积分项目时，在做评价汇总页面中获取所有被评价人的姓名，结果是一个人的姓名重复出现，这时候我们就需要进行去重操作，小编在完成这个需求的过程中，出现了两种思路，当然最后是通过第二种思路解决的，简单快捷！ 数据重复   数据重复的情况如下：                                                                    ...
SQL中的DISTINCT、SQL DISTINCT详解、DISTINCT的用法、DISTINCT注意事项
热门推荐
qq_52066082的博客
01-29 7万+
DISTINCT 是 SQL 中用来返回唯一不重复结果集的关键字。它通常用于 SELECT 语句中，可以指定一个或多个列进行去重，并返回唯一的结果。当你在使用 SELECT 查询数据时，可能会得到包含重复行的结果集。为了去除这些重复行，你可以使用 DISTINCT 关键字来获取唯一的记录。
Python数据挖掘-数据去重及清洗优化(三)
08-08 1378
上节课我们实现了数据的自动爬取并存入数据库，但是数据挖掘的工作没有结束，更厉害的功能还在后面。今天要学习的是如何把数据去重、统一日期格式，之前的基础知识就不废话了，不懂得看看我前面写的内容，不明白的知识点自己百度，网上有好多解释。 直接上代码讲解 注意一定要练习，哪怕是看着一点点敲也比复制领会的快，我们学习的是解决问题的思路和方法，关键的知识点一定要掌握。 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/8/8 08:5
SQL 去重不用distinct如何实现？
风吹雪满头即为白首
07-10 9410
1、今日面试问到SQL语句去重关键字？一时只想起来distinct【果然一定要注意总结啊 答：用distinct关键字只能过滤查询字段中所有记录相同的（记录集相同），而如果要指定一个字段却没有效果，另外distinct关键字会排序，效率很低 。  select distinct name from t1 能消除重复记录，但只能取一个字段，现在要同时取id,name这2个字段的值。  sele
SQL小技巧5：数据去重的N种方法，总有一种你想不到！
12-28 7019
也就是说，在上面的SQL语句中，使用address字段进行去重，最终的结果，也最多只能返回address一个字段。ROW_NUMBER()窗口函数的原理是，先对数据按照partition by的字段进行分组，然后以order by的字段在各个分组内进行排序，序号从1开始递增。也就是说，在返回的结果中，同一行的id、name、age，可能并不是同一个学生的，这就导致看起来数据有些混乱。id=1的学生，应该叫周俊廷，而在上面的返回结果中却是杨萧语，返回的age字段，也有同样的问题。
SQL 去重 DISTINCT 关键字原理
07-17
<think>我们正在讨论SQL中DISTINCT关键字的去重原理。根据用户的问题，需要详细解释DISTINCT如何工作，包括其内部机制和优化考虑。同时，参考了提供的引用内容。 引用[1]指出：DISTINCT用于从查询结果中去除重复记录，在报告生成、数据分析和用户查询中至关重要。 引用[2]提到：Distinct关键字过滤多余的重复记录只保留一条，但通常只用于返回不重复记录的条数，而不是返回所有值，因为其效率问题（二重循环查询）。 引用[3]是关于MySql执行计划（Explain关键字）的，虽然不直接解释DISTINCT原理，但我们可以联想到通过执行计划来分析DISTINCT的执行过程。 因此，回答将围绕以下方面展开： 1. DISTINCT的基本用法和效果 2. DISTINCT的工作原理（内部机制） 3. 性能问题和优化方法（结合执行计划） 另外，根据用户要求，我们需要使用LaTeX格式的数学表达式（虽然DISTINCT原理不涉及复杂数学，但如果有排序等操作，可以适当使用），并生成相关问题。 回答结构： 1. 概述DISTINCT的作用 2. 详细解释工作原理（包括排序、哈希两种常见实现） 3. 讨论性能优化（使用索引、避免SELECT *等） 4. 示例和实际执行计划分析（可选） 5. 总结 最后，生成相关问题。</think>### SQL DISTINCT 关键字的工作原理详解 #### **1. 基本作用与语法** `DISTINCT` 用于消除查询结果中**所有列值完全相同的重复行**，返回唯一记录集合。语法： ```sql SELECT DISTINCT 列1, 列2, ... FROM 表名; ``` - 若未指定列，则对所有列去重（`SELECT DISTINCT *`） - 仅作用于查询结果，不修改原始数据[^1] #### **2. 核心原理：基于排序与哈希的去重** 数据库引擎通常通过两种方式实现去重： - **排序去重（Sort-Based Deduplication）** 1. 将查询结果按所有列**全排序**（如快速排序） 2. 遍历有序数据：若当前行与前一行**所有列值相等**，则丢弃 3. 时间复杂度：$O(n \log n)$（排序成本）+ $O(n)$（遍历成本） 例：结果集 `[(A,1), (A,1), (B,2)]` → 排序后遍历 → 输出 `[(A,1), (B,2)]` - **哈希去重（Hash-Based Deduplication）** 1. 为每行计算**哈希值**（如 MD5 或自定义哈希函数） 2. 使用哈希表（Hash Table）存储唯一键： - 若哈希值不存在 → 保留行并记录哈希值 - 若哈希值已存在 → 丢弃（视为重复） 3. 时间复杂度：$O(n)$（理想情况下），但需处理哈希冲突 #### **3. 关键特性与限制** - **隐式排序问题** 部分数据库（如 MySQL）的 `DISTINCT` 可能隐式触发排序操作，影响性能。可通过 `EXPLAIN` 验证： ```sql EXPLAIN SELECT DISTINCT name FROM users; -- 观察 Extra 列是否出现 "Using temporary" ``` 若输出含 `Using filesort`，表明使用了排序去重[^3] - **空值（NULL）处理** - 所有数据库均将 **NULL 视为相等** - 例：`SELECT DISTINCT col` 会将多个 `NULL` 合并为一行 - **与 GROUP BY 的差异** | 特性 | DISTINCT | GROUP BY | |--------------------|------------------------------|------------------------| | 输出结果 | 唯一值列表 | 分组+可搭配聚合函数 | | 性能优化 | 通常无分组聚合优化 | 可利用索引优化分组 | | 语法灵活性 | 仅去重 | 可结合 SUM/AVG/COUNT 等 | #### **4. 性能优化策略** - **避免 `SELECT *`** 明确指定列减少处理数据量： ```sql -- 低效 SELECT DISTINCT * FROM orders; -- 高效 SELECT DISTINCT order_id, customer_id FROM orders; ``` - **利用索引覆盖查询** 若查询列全部被索引覆盖，可避免全表扫描： ```sql CREATE INDEX idx_name ON users(name); SELECT DISTINCT name FROM users; -- 可能直接扫描索引而非数据表 ``` - **大数据集改用 GROUP BY** 当数据量极大时，`GROUP BY` 可能比 `DISTINCT` 更快（尤其有索引时）： ```sql SELECT name FROM users GROUP BY name; -- 可能比 DISTINCT 高效 ``` - **限制结果集范围** 通过 `WHERE` 或 `LIMIT` 减少处理行数： ```sql SELECT DISTINCT product_id FROM sales WHERE sale_date > '2023-01-01' LIMIT 1000; ``` #### **5. 实际执行过程示例** 假设表 `employees`： | id | name | dept | |----|-------|------| | 1 | Alice | HR | | 2 | Bob | IT | | 3 | Alice | HR | 执行 `SELECT DISTINCT name, dept FROM employees`： 1. **数据读取**：加载所有行 2. **去重计算**（以排序法为例）： - 原始数据：`[(Alice,HR), (Bob,IT), (Alice,HR)]` - 排序后：`[(Alice,HR), (Alice,HR), (Bob,IT)]` - 遍历去重：保留第1行 `(Alice,HR)`，跳过第2行（重复），保留第3行 `(Bob,IT)` 3. **输出结果**： | name | dept | |-------|------| | Alice | HR | | Bob | IT | > ⚠️ 注意：`DISTINCT` 在子查询或 JOIN 中可能导致意外行为，需结合 `EXPLAIN` 分析执行计划[^3]。 --- ### 总结 `DISTINCT` 通过**排序或哈希**算法实现去重，核心是识别并移除所有列值完全相同的行。其效率取决于数据规模、索引设计及列数量，**大数据集需谨慎使用**。优化时优先考虑指定列、利用索引、添加过滤条件，必要时改用 `GROUP BY`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值