distinct（sql去重）小小说

最新推荐文章于 2021-05-07 09:41:05 发布
原创 最新推荐文章于 2021-05-07 09:41:05 发布 · 319 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析了SQL中distinct关键字的使用原理，强调其在多字段查询时如何判断重复记录，并通过实例展示其工作方式。

distinct（sql去重）小小说

在我们代码开发中，sql是我们必不可少的，相信distinct用法也是常用语法之一。
我用过很多次distinct语法，但是其实并没有明白其去重的原理。
其实distinct用法的原理是当我们查询的多条数据的所有字段完全一致时，才会发挥去重作用，而不是仅仅依据distinct后面的一个字段。
简单来说，将我们要查询的字段拼接成一个字符串，只有当字符串完全equals时，才去重。
看个例子：
在这里插入图片描述
SELECT DISTINCT CUST_ID,CUST_NAME,ID_NO,ADDR
结果为：
在这里插入图片描述

SQL SELECT DISTINCT 语句详解：精准去重的艺术
威哥说编程
04-04 3768
DISTINCT是 SQL 中的一个关键字，用于从查询结果中去除重复的记录。当你只关心查询结果中每个唯一值时，DISTINCT能有效地帮助你精简结果集。：指定你想要查询的列。table_name：查询的目标表。是一个强大的工具，能够帮助我们精准地从查询结果中去除重复数据。在日常开发中，理解其工作原理和常见的应用场景，可以有效提升数据查询的效率和准确性。去重单列或多列DISTINCT可以应用于单列或多列，用于去除重复数据。与聚合函数结合DISTINCT可以和聚合函数一起使用，进行更复杂的数据分析。
SQL去重
qq_56900618的博客
07-29 2159
SQL去重是数据分析工作中比较常见的一个场景，今天给大家具体介绍3种去重的方法。在使用SQL提数的时候，常会遇到表内有重复值的时候，比如我们想得到 uv （独立访客），就需要做去重。 在 MySQL 中通常是使用 distinct 或 group by子句，但在支持窗口函数的 sql（如Hive SQL、Oracle等等） 中还可以使用 row_number 窗口函数进行去重。举个栗子，现有这样一张表 task： 备注： task_id: 任务id; order_id: 订单id; ..
distinct sql用法_几种去重的SQL写法
weixin_39621427的博客
11-28 606
墨天轮社区的每日一题(https://www.modb.pro/test)，可以说是个小而精的专栏，利用碎片时间，就可以学习知识，非常推荐。这是其中一道，考的就是SQL语法，基础中的基础，但乍一看，或许不是所有人能直接给出正确答案，不信你试试？创建测试表，插入测试数据，一共4条，2条id=1，1条id=2，1条id是空，SQL>createtablet1(idnumber)...
sql 去重 （DISTINCT）详解
past__time的博客
06-09 1万+
//直接上sql SELECT DISTINCT up.usersid, rs.NewName, el.LevelName, u.Account, ui.Name, ui.Icon FROM UsersPower up LEFT JOIN RoleSet rs ON rs.Num = up.RoleId LEFT JOIN Department
MySQL DISTINCT 的基本实现原理详解
09-09
主要介绍了MySQL DISTINCT 的基本实现原理详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
SQL去重distinct方法解析
weixin_30617695的博客
09-17 3651
来源：https://www.cnblogs.com/lixuefang69/p/10420186.html SQL去重distinct方法解析 一 distinct 含义：distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段 用法注意： ...
sql 去除重复之distinct详解
小菜鸟的博客
12-13 7787
前言：        在sql数据查询中，有时候，数据可能会出现很多重复相同的数据，但是，我们有时候只是想要查询出不同的数据，把多余重复的数据过滤掉，可以通过使用distinct来实现过滤重复数据，返回唯一的数据。 1.案例详解：   数据表a1如图： 1).单一字段去除多余重复数据： 代码：select distinct a_name from a1 返回结果图： 说明：对...
MongoDB中用distinct实现去重的简便方式
07-01
在MongoDB里，distinct命令十分实用，它能帮用户获取集合中某一特定字段的所有不重复值，与SQL中的DISTINCT关键字功能相似，可有效去重并提取唯一数据项。本文将深入剖析MongoDB中distinct命令的使用方式及其工作...
Distinct自定义去重
03-01
今天遇到一个数组再分组的情况，思路是先找到分组的原则，之后再遍历一次得到分组的数据。 就是把所有重复的数据去掉，（分组依据） 重写了IEqualityComparer接口，并实现了它，但是有一点当明没有搞明白。...
sql去重复操作详解SQL中distinct的用法
jiajiaarcher的博客
05-07 1万+
在表中，可能会包含重复值。这并不成问题，不过，有时您也许希望仅仅列出不同（distinct）的值。关键词 distinct用于返回唯一不同的值。 表A： 表B: 1.作用于单列 select distinct name from A 执行后结果如下： 2.作用于多列 示例2.1 select distinct name, id from A 执行后结果如下： 实际上是根据name和id两个字段来去重的，这种方式Access和SQL Server同时支持。 示例2.2
MySQL DISTINCT 的基本实现原理
xpzhang123的专栏
12-04 3866
DISTINCT 实际上和 GROUP BY 操作的实现非常相似，只不过是在 GROUP BY 之后的每组中只取出一条记录而已。所以，DISTINCT 的实现和 GROUP BY 的实现也基本差不多，没有太大的区别。同样可以通过松散索引扫描或者是紧凑索引扫描来实现，当然，在无法仅仅使用索引即能完成 DISTINCT 的时候，MySQL 只能通过临时表来完成。但是，和 GROUP BY 有一点差别的
SQL 去重不用distinct如何实现？
风吹雪满头即为白首
07-10 9416
1、今日面试问到SQL语句去重关键字？一时只想起来distinct【果然一定要注意总结啊 答：用distinct关键字只能过滤查询字段中所有记录相同的（记录集相同），而如果要指定一个字段却没有效果，另外distinct关键字会排序，效率很低 。  select distinct name from t1 能消除重复记录，但只能取一个字段，现在要同时取id,name这2个字段的值。  sele
详述 SQL 中的 distinct 和 row_number() over() 的区别及用法
CG国斌的博客
02-22 4万+
1 前言在咱们编写 SQL 语句操作数据库中的数据的时候，有可能会遇到一些不太爽的问题，例如对于同一字段拥有相同名称的记录，我们只需要显示一条，但实际上数据库中可能含有多条拥有相同名称的记录，从而在检索的时候，显示多条记录，这就有违咱们的初衷啦！因此，为了避免这种情况的发生，咱们就需要进行“去重”处理啦，那么何为“去重”呢？说白了，就是对同一字段让拥有相同内容的记录只显示一条记录。那么，如何实现“去
SQL Distinct的实现
编程资料大全
06-05 299
Distinct是SQL中一种很常见的操作，能够很方便地筛选掉结果中重复的行。首先来看看Distinct操作的效果： mysql> select * from ob; +------+------+------+ | a | b | c | +------+------+------+ | 1 | 2 | 3 | | 1 | 2 | 3 | | 1 | 2...
spark之distinct去重原理
我的祖传代码
04-08 2516
distinct算子原理： 贴上spark源码： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope ...
SQL优化终于干掉了“distinct”
TrueDei
10-06 2万+
sql优化之多表联合查询干掉“distinct”去重关键字
subString的用法小结
热门推荐
billxin0621的博客
08-05 7万+
subString的用法小结subString常用方法一：subString常用方法二：subString常用方法三： subString是Java提供的一种字符串截取方法，通常我们可以用参数来控制截取的字符串。 subString常用方法一： String a = “123456anbdc”; String b = a.subString(1); 此时得到的为字符串a从下标为1的位置开始截取到最...
SQL 去重 DISTINCT 关键字原理
最新发布
07-17
<think>我们正在讨论SQL中DISTINCT关键字的去重原理。根据用户的问题，需要详细解释DISTINCT如何工作，包括其内部机制和优化考虑。同时，参考了提供的引用内容。 引用[1]指出：DISTINCT用于从查询结果中去除重复记录，在报告生成、数据分析和用户查询中至关重要。 引用[2]提到：Distinct关键字过滤多余的重复记录只保留一条，但通常只用于返回不重复记录的条数，而不是返回所有值，因为其效率问题（二重循环查询）。 引用[3]是关于MySql执行计划（Explain关键字）的，虽然不直接解释DISTINCT原理，但我们可以联想到通过执行计划来分析DISTINCT的执行过程。 因此，回答将围绕以下方面展开： 1. DISTINCT的基本用法和效果 2. DISTINCT的工作原理（内部机制） 3. 性能问题和优化方法（结合执行计划） 另外，根据用户要求，我们需要使用LaTeX格式的数学表达式（虽然DISTINCT原理不涉及复杂数学，但如果有排序等操作，可以适当使用），并生成相关问题。 回答结构： 1. 概述DISTINCT的作用 2. 详细解释工作原理（包括排序、哈希两种常见实现） 3. 讨论性能优化（使用索引、避免SELECT *等） 4. 示例和实际执行计划分析（可选） 5. 总结 最后，生成相关问题。</think>### SQL DISTINCT 关键字的工作原理详解 #### **1. 基本作用与语法** `DISTINCT` 用于消除查询结果中**所有列值完全相同的重复行**，返回唯一记录集合。语法： ```sql SELECT DISTINCT 列1, 列2, ... FROM 表名; ``` - 若未指定列，则对所有列去重（`SELECT DISTINCT *`） - 仅作用于查询结果，不修改原始数据[^1] #### **2. 核心原理：基于排序与哈希的去重** 数据库引擎通常通过两种方式实现去重： - **排序去重（Sort-Based Deduplication）** 1. 将查询结果按所有列**全排序**（如快速排序） 2. 遍历有序数据：若当前行与前一行**所有列值相等**，则丢弃 3. 时间复杂度：$O(n \log n)$（排序成本）+ $O(n)$（遍历成本） 例：结果集 `[(A,1), (A,1), (B,2)]` → 排序后遍历 → 输出 `[(A,1), (B,2)]` - **哈希去重（Hash-Based Deduplication）** 1. 为每行计算**哈希值**（如 MD5 或自定义哈希函数） 2. 使用哈希表（Hash Table）存储唯一键： - 若哈希值不存在 → 保留行并记录哈希值 - 若哈希值已存在 → 丢弃（视为重复） 3. 时间复杂度：$O(n)$（理想情况下），但需处理哈希冲突 #### **3. 关键特性与限制** - **隐式排序问题** 部分数据库（如 MySQL）的 `DISTINCT` 可能隐式触发排序操作，影响性能。可通过 `EXPLAIN` 验证： ```sql EXPLAIN SELECT DISTINCT name FROM users; -- 观察 Extra 列是否出现 "Using temporary" ``` 若输出含 `Using filesort`，表明使用了排序去重[^3] - **空值（NULL）处理** - 所有数据库均将 **NULL 视为相等** - 例：`SELECT DISTINCT col` 会将多个 `NULL` 合并为一行 - **与 GROUP BY 的差异** | 特性 | DISTINCT | GROUP BY | |--------------------|------------------------------|------------------------| | 输出结果 | 唯一值列表 | 分组+可搭配聚合函数 | | 性能优化 | 通常无分组聚合优化 | 可利用索引优化分组 | | 语法灵活性 | 仅去重 | 可结合 SUM/AVG/COUNT 等 | #### **4. 性能优化策略** - **避免 `SELECT *`** 明确指定列减少处理数据量： ```sql -- 低效 SELECT DISTINCT * FROM orders; -- 高效 SELECT DISTINCT order_id, customer_id FROM orders; ``` - **利用索引覆盖查询** 若查询列全部被索引覆盖，可避免全表扫描： ```sql CREATE INDEX idx_name ON users(name); SELECT DISTINCT name FROM users; -- 可能直接扫描索引而非数据表 ``` - **大数据集改用 GROUP BY** 当数据量极大时，`GROUP BY` 可能比 `DISTINCT` 更快（尤其有索引时）： ```sql SELECT name FROM users GROUP BY name; -- 可能比 DISTINCT 高效 ``` - **限制结果集范围** 通过 `WHERE` 或 `LIMIT` 减少处理行数： ```sql SELECT DISTINCT product_id FROM sales WHERE sale_date > '2023-01-01' LIMIT 1000; ``` #### **5. 实际执行过程示例** 假设表 `employees`： | id | name | dept | |----|-------|------| | 1 | Alice | HR | | 2 | Bob | IT | | 3 | Alice | HR | 执行 `SELECT DISTINCT name, dept FROM employees`： 1. **数据读取**：加载所有行 2. **去重计算**（以排序法为例）： - 原始数据：`[(Alice,HR), (Bob,IT), (Alice,HR)]` - 排序后：`[(Alice,HR), (Alice,HR), (Bob,IT)]` - 遍历去重：保留第1行 `(Alice,HR)`，跳过第2行（重复），保留第3行 `(Bob,IT)` 3. **输出结果**： | name | dept | |-------|------| | Alice | HR | | Bob | IT | > ⚠️ 注意：`DISTINCT` 在子查询或 JOIN 中可能导致意外行为，需结合 `EXPLAIN` 分析执行计划[^3]。 --- ### 总结 `DISTINCT` 通过**排序或哈希**算法实现去重，核心是识别并移除所有列值完全相同的行。其效率取决于数据规模、索引设计及列数量，**大数据集需谨慎使用**。优化时优先考虑指定列、利用索引、添加过滤条件，必要时改用 `GROUP BY`。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值