sql语句去重 和去空

最新推荐文章于 2025-04-04 21:39:26 发布
转载 最新推荐文章于 2025-04-04 21:39:26 发布 · 3.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://qqe2.com/java/post/3670.html
文章标签：

#sql #数据库 #database

本文详细介绍了SQL中处理数据重复的三种方法：1) 使用DISTINCT去除单个或多个字段的重复记录；2) 结合GROUP BY和HAVING COUNT来统计并去重；3) 利用MIN/MAX进行去重。通过实例解释了每种方法的适用场景和效果，帮助读者理解如何在实际操作中有效去重。 
SELECT  DISTINCT field1,field2 
FROM `tableName`   WHERE  field2   IS not NULL  AND field1 IN ()

第一种： 单个字段使用去重

首先，单个字段 -》用distinct对student_name 进行筛选，单个字段查询的话，可以看到已经将一个重复的test学生记录去掉了
在这里插入图片描述

第二种：多个字段去重问题

应用在多个字段时，可以看到此时两个同名的test，都被查出来;应用在多个字段时，只有当多个字段
值一致，去重才是生效
在这里插入图片描述

第三种，统计某个字段记录数，对单个字段去重

一般用来返回不重复的记录条数，返回不重复的条数(去掉test重复的，就剩下6条)
在这里插入图片描述

作用在多个字段时，只有当这几个字段的完全相同时，才能去重

下图中id=1 test和tid=7的test 为什么没有去重？？因为classid 不同 ，多个字段下，必须每个都相同，才能去重
在这里插入图片描述

二种：group by + count + min 去掉重复数据

没有加group by之前，有两条班级名称一样的数据

4.jpg

加上group by 后，会将重复的数据去掉了

5.jpg

count + group +min：去掉重复数据

首先根据查出重复的数据

然后再加上id不在查询结果里面的，去掉重复数据

SELECT * from tb_class where classname in (SELECT classname from tb_class GROUP BY classname HAVING COUNT(classname)>1)

and id NOT in (SELECT min(id) from tb_class GROUP BY classname HAVING count(classname)>1)

第三种：min、max(这种方法在第二种中已经用到了)。

Sql语句去重复数据就是以上这三种方法，大家可以根据实际情况去选择使用，达到去重复数据的情况。最后大家如果想要了解更多其他工具教程知识，敬请关注奇Q工具网。

参考文章：https://qqe2.com/java/post/3670.html

SQL删除表中某字段下为空的数据
m0_38090787的博客
11-13 6846
1.delete from 表名 where 字段名 is null; 例：delete from Students where ageis null; 注：不可用：字段名 = null; 2.delete from 表名 where 字段名= ''; delete from Students wherename= '';
sqlServer实现去除字符串空格
09-09
简单的说SQL 中使用ltrim()去除左边空格 ，rtrim()去除右边空格 ，没有同时去除左右空格的函数，要去除所有空格可以用replace(字符串,' ','')，将字符串里的空格替换为空 。
HSQLDB----sql文查询行号，去重去空
poppyCL的博客
03-31 437
表数据 拼接 去重，去空 select ROW_NUMBER() over() as RN, tmp.* as SITE from ( select B.A from ( select distinct field1 A from table1 union select distinct field2 A from table1 union select distin...
oracle sql怎么去重,Oracle sql 去除重复 和 字段去除空格
weixin_36218209的博客
04-03 907
1.去除重复两种方式@H_403_1@1.1distinct 函数@H_403_1@select distinct userid from projectinfo where projecttype in (select id from p_fundcategory where departid = 21 and parentid !=0)1.2 group by 也可以@H_403_1@sele...
SQL 去除字符串空格
weixin_49496875的博客
12-30 1万+
SQL 去除字符串空格
SQL查询知识点总结
bingbangx的博客
08-25 1787
转载于：https://zhuanlan.zhihu.com/p/113005033 仅用于学习，如有侵权，请联系我。 数据库基础知识 什么是数据库？什么是是sql? 数据库database：用于存放数据的容器（一个文件或者一组文件）。区别于数据库管理软件（DBMS-database management system)。 SQL:数据库查询语言，Structured Query Language的简称。SQL语言是用于操纵数据库软件的语言。 （为什么要使用数据库？数据库比excel有更多的优点：数据库
SQLSERVER去重语句.docx
03-12
本篇文章将详细介绍如何在SQL Server中针对单个字段和多个字段进行去重操作。 1. 单字段去重查询： 当我们只需要找出某个特定字段（如`Parameter`）重复的记录时，可以使用以下查询语句： ``` SELECT * FROM ...
SQL中的去重
rookie636的博客
08-02 974
DISTINCT 关键字用于返回唯一不同的值，一般放在查询语句中的第一个字段前使用。DISTINCT会将NULL值也看做成一个不同的值。DISTINCT去重假如有一张员工表：需要获取所有不重复的员工薪资和年龄的组合，如下编写SQL即可。
sql语句去重
最新发布
07-10
### SQL语句实现数据去重的方法 SQL中实现数据去重的方法主要有以下几种： #### 1. 使用 `DISTINCT` 关键字 `DISTINCT` 是SQL中最常用的去重方法，它可以去除查询结果中的重复记录。适用于只需要获取唯一值的情况...
SQL SELECT DISTINCT 语句详解：精准去重的艺术
威哥说编程
04-04 3700
DISTINCT是 SQL 中的一个关键字，用于从查询结果中去除重复的记录。当你只关心查询结果中每个唯一值时，DISTINCT能有效地帮助你精简结果集。：指定你想要查询的列。table_name：查询的目标表。是一个强大的工具，能够帮助我们精准地从查询结果中去除重复数据。在日常开发中，理解其工作原理和常见的应用场景，可以有效提升数据查询的效率和准确性。去重单列或多列DISTINCT可以应用于单列或多列，用于去除重复数据。与聚合函数结合DISTINCT可以和聚合函数一起使用，进行更复杂的数据分析。
表之sql删除重复数据、查找去除重复数据、DISTINCT用法
鲁迷那的专栏—坚持实践后再写出来！
07-09 2044
数据如图： id可以理解为uuid，person_sort_code可以理解为唯一的标识，但是唯一标识重复了！ 问题来了，这时候我们要删除的重复的数据！ -- 解决思路 -- （1）根据person_sort_code进行分组； -- （2）取出分组后的最大id（或最小id）； -- （3）删除除最大（或最小）id以外的其他字段； delete from a_person_test where id not in ( select t.max_id from (select m...
sql语句 怎么去掉一个字段里值的空格【伸手党福利】
wwppp987的博客
01-23 6366
事由用户导入的excel表格里面用户姓名当中带有全角或者半角空格，需要去除。 oracle或者mysql通用 trim(name) 如果你要把表里某字段所有数据的空格都去掉的话。可以执行下面的SQL： update table1 a set a.字段=a.trim(a.字段); //去掉字段前面后后面的空格 update table1 a set a.字段=replace(a.字段,' ',''); //去掉字段所有的空格（包括前、中、后） update table1 a set a.字段=replace
sql去除html标签
c13_tianming的专栏
08-14 2734
 --1、创建函数 create function [dbo].[clearhtml] (@maco varchar(8000)) returns varchar(8000) as begin declare @i int while 1 = 1 begin set @i=len(@maco) set @mac
SQL语句中去掉字段中的某个字符
qq_31275669的博客
09-11 1万+
在实际的开发中，我们经常会遇到需要修改某个字段的情况，如将电话号码的"-"去掉，将时间格式中的"-"替换成"/"等等。这段代码的意思是将"192.168.0.1"以"."为分隔符，截取3次，得到"192.168.0"这段代码的意思是将"hello-world"中的"-"替换成""，得到"helloworld"其中，str表示要进行截取的字符串，delim表示分隔符，count表示截取的次数。str表示要进行替换的字符串，old表示要被替换的字符，new表示新的字符。1. REPLACE函数。
6种SQL数据去重技巧！
eagle89的专栏
01-22 3万+
6种SQL数据去重技巧！
sql过滤空值的语句
Re：从零开始的学习之路
02-13 772
(1) Where 列名 is not null (2) Where 列名 != 'null' (3) Where 列名 <> 'null'
SQL：数据去重的三种方法
热门推荐
qq_35091353的博客
11-12 15万+
SQL中去除重复数据
这些SQL优化技巧握在手，面试可以横着走……
这个时代，作为程序员可能要学习小程序
08-24 153
击上方关注 “终端研发部”设为“星标”，和你一起掌握更多数据库知识一、SQL执行顺序选择表：FROM [left_table]链接条件：ON <join_condition>链接：<join_type> JOIN <right_table>条件过滤：WHERE <where_condition>分组：GROUP BY <group_by_lis...
Oracle sql 去除重复 和 字段去除空格
足迹
07-21 8131
Oracle sql 去除重复 和 字段去除空格
SQL语句去重和查询数据量
02-21
### SQL 中去除重复记录及查询数据量 #### 使用 `COUNT(DISTINCT)` 函数去重并统计数量 为了获取特定字段的不同唯一值的数量，`COUNT(DISTINCT)` 是一种常用方法。例如，在用户表中统计不同状态 ID (`sta_id`) 的数量： ```sql SELECT COUNT(DISTINCT sta_id) AS num FROM tab_user; ``` 这种方法能够有效地返回唯一的 `sta_id` 数目[^1]。 #### 利用 `GROUP BY` 实现分组与去重 除了 `DISTINCT` 关键字外，还可以利用 `GROUP BY` 来达到相似的效果。当需要基于某一列或多列进行分组，并在此基础上应用聚合函数时，`GROUP BY` 就显得尤为重要。其基本结构如下所示： ```sql SELECT column1, aggregate_function(column2) FROM table_name GROUP BY column1; ``` 此语句允许按照指定的列来组织数据集中的行，并针对每一组执行诸如计数、求和等操作[^3]。 对于既希望获得各地区域内不重复名称的数量又想要保留区域信息的情况，可以通过组合使用 `COUNT(DISTINCT)` 和 `GROUP BY` 来完成这一需求： ```sql SELECT COUNT(DISTINCT name) AS c, area AS b FROM table GROUP BY area; ``` 这段代码不仅实现了按区域划分的结果展示，同时也确保了每家公司只被计入一次[^5]。 #### 性能考量：`DISTINCT` vs. `GROUP BY` 关于两者之间性能差异的问题，这取决于具体的应用场景以及数据库引擎优化程度等因素。一般来说，如果仅仅是简单地消除重复项，则 `DISTINCT` 可能更为直观；而涉及到更复杂的业务逻辑处理时，`GROUP BY` 提供的功能更加灵活多样。不过需要注意的是，在某些特殊条件下，过度依赖这两种方式可能会引起不必要的资源消耗甚至影响整体性能表现[^4]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值