mysql DISTINCT 一些坑

最新推荐文章于 2025-06-17 22:02:07 发布
原创 最新推荐文章于 2025-06-17 22:02:07 发布 · 4.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在SQL查询中使用DISTINCT关键字进行去重时遇到的问题，尤其是在结合IN函数时的限制。作者分享了一个案例，即在多表查询中，期望仅去除特定字段的重复值，但发现DISTINCT应用到所有选择的字段。文章还提到了如何通过COUNT(DISTINCT)解决部分去重需求，以及在使用IN函数时遇到的查询数量限制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近公司有一个需求，根据某一个字段多表查询另一个字段的值，且要求不能重复。然后sql语句我就想到了DISTINCT，毕竟这是大家都知道去重sql 关键字。但是还是查到了重复的值，让你很生气有没有！话不多说，上sql：

SELECT DISTINCT map.BwHotelID,tel.BusinessState,map.HotelName,map.SourceID FROM `BW_HotelID_Map_ForAll` map 
LEFT JOIN BWWeb_VHotel tel ON map.BwHotelID = tel.VHotelID where  map.SourceHotelID = ‘13949486’

随度了一下，发现 DISTINCT 后面的字段都不能重复。很坑的有没有。我要BwHotelID这个字段不重复，但是我也想要HotelName这个啊！ 后又度了一下，发现有网友说

count(DISTINCT map.BwHotelID)

就能去重了，经测试，真的可以哎！

然后我就高高兴兴的改了一下sql  改后的sql：

SELECT DISTINCT map.BwHotelID,tel.BusinessState,map.HotelName,map.SourceID FROM `BW_HotelID_Map_ForAll` map 
LEFT JOIN BWWeb_VHotel tel ON map.BwHotelID = tel.VHotelID where  map.SourceHotelID in('13949486',...)

然后发现，不论我的in()函数里面有多少个值，它都只能查出来一个。很无奈

只能不用in()函数了，然后苦逼的写了个程序，一个一个查询的。o(︶︿︶)o 唉

liu122360
关注
【Prometheus】MySQL主从搭建，以及如何通过prometheus监控MySQL运行状态
景天科技苑
02-11 7万+
要使用Prometheus 监控 MySQL，则需要 MySQL 服务器上部署对应的mysqld_exporter。 如果需要监控多个MySQL实例，则需要在每个MySQL实例上都部署一个mysqld_exporter， 因为每个 mysqld_exporter 只能连接并抓取一个MySQL 的指标数据。
【hive】count distinct时遇到的坑
波波菜鸟
08-06 3203
先说结论：使用count distinct计算两列联合去重时，若有任何一列为null 那么count计数时就会略过这一条。 如：count(distinct a,b) 若a或者b中有一个是null，那么这一行就不会参与计数 平台：hive、mysql都是如此 1、给一张测试表如下： 表名设为test，注意第三行的name是null，空值 id tools name 1 hive a 2 hive b 3 hive NULL 2、观察下方执行结果： select distinct
mysql group by。 distinct
Meiko记录
06-04 715
表名：testusers，字段记录如图，以前create的直接拿来用，将就一下。（懒即生产力） 一）作用：GROUP BY 语句根据一个或多个列对结果集进行分组。会把值相同放到一个组中，最终查询出的结果只会显示组中一条记录。（字母不好理解没关系，看下面的例子秒懂） 二）example: 1）基本用法： 根据 sex 字段分组，查询用户名、年龄、电话、性别。 这就分组成功了！男的一组 女的一组，还有一组那啥，咳咳，搞不清楚的，但是都只显示了组中一条记录，我们的效果不够明显，接着看下面的例子。） SE.
MySQL的Distinct使用遇到的坑
陈陈陈技术博客
04-17 3516
在工作中的使用MySQL的DISTINCT遇到了一点小坑，大概的现象为： 1、查询dede_scores表：select * from dede_scores，查询到的数据为： 2、如果使用查询语句去重integral字段：select distinct integral from dede_scores; 查询到的结果为： 3、如果使用查询语句去重titles、integra...
MySQL 中 DISTINCT 去重的核心注意事项详解
最新发布
weixin_51288065的博客
06-17 636
MySQL 中 DISTINCT 去重的核心注意事项详解
MySQL的这些显而易见的坑你踩过了没
nosix的博客
08-08 414
## **distinct关键字** > distinct是应用于所有列的, 而不是某一个列 ``` mysql> select * from test_table; +------+------+ | one | two | +------+------+ | 56 | 12 | | 52 | 10 | | 56 | 12 | | 56 | 13 | +--
Hive中使用Distinct踩到的坑
UncleMing5371的博客
12-24 3826
问题描述： 在使用Hive的过程中，用Distinct对重复数据进行过滤，得出了一个违背认知的结果，百思不得其解。 假设：test表中有100W数据，对test表按照a, b, c, d, e去重。 一、使用Distinct的SQL如下： SQL1 ：select count(distinct a, b, c, d, e) from test;  得出结果： 2W+。 根据数据特点第...
MySQL(46)MySQL使用DISTINCT过滤重复数据
逍遥人世欢
06-14 1735
在 MySQL 中使用 SELECT 语句执行简单的数据查询时，返回的是所有匹配的记录。如果 DISTINCT 关键字后有多个字段，则会对多个字段进行组合去重，也就是说，只有多个字段组合起来完全是一样的情况下才会被去重。因为 DISTINCT 只能返回它的目标字段，而无法返回其它字段，所以在实际情况中，我们经常使用 DISTINCT 关键字来返回不重复字段的条数。DISTINCT 关键字的主要作用就是对数据表中一个或多个字段重复的数据进行过滤，只返回其中的一条数据给用户。
mysql中distinct的坑
02-22
在MySQL中，DISTINCT关键字用于查询结果中去除重复的行。然而，使用DISTINCT可能会遇到一些坑，...总之，在使用MySQL中的DISTINCT关键字时，需要注意上述的一些坑，并根据具体情况选择合适的解决方法来得到正确的结果。
MySQL数据库操作补坑(五)视图
qq_45670042的博客
12-20 457
视图简介 是有数据库中的一个表或多个表导出的虚拟表。作用是方便用户对数据的操作。 1）、视图的含义 是一种虚拟的表，是从数据库中的一个或多个表中导出来的表。还可以从已经存在的视图的基础上定义。数据库中只存放了视图的定义，并没有存放视图中的数据。 如果经常需要从多个表查询指定字段的数据，可以在这些表上建立一个视图。通过这个视图显示这些字段的数据。如果表中修改了与市图相关的字段的名称，可以通过修改试图爱解决可能引起的问题。 MySQL视图不支持输入参数的功能，因此交互性上还有欠缺。但对于变化大的操作，使用视
count(distinct xxx) 和 group by 做去重隐藏的坑
欧阳正才的博客
07-11 5652
不说废话，直接上代码。 以下查询是基于mysql自带的country,city,countrylanguage三个样例表做的： select count(*) from country union all SELECT count(distinct Code, Name, Continent, Region, SurfaceArea, IndepYear, Population, Life...
分析MySQL中优化distinct的技巧
09-10
主要介绍了分析MySQL中优化distinct的技巧,主要是通过减少本地扫描的次数来进行优化的方法,需要的朋友可以参考下
【DISTINCT】优化之MySQL官方文档翻译
10-01
【DISTINCT】优化之MySQL官方文档翻译
MySQL DISTINCT优化
kf_panda
10-22 1476
先做几个实验 SQL1测试: select distinct hphm from sjkk_gcjl where jgsj>='2014-04-01 00:00:00' and jgsj<='2015-04-30 00:00:00' and hphm like '_BX_27_' and csys = 'E' limit 100;
mysql优化DISTINCT
Yqy_12的博客
07-19 674
sql优化
MySQL优化之distinct
幸福的使者
08-10 1544
distinct实际上和group by的操作非常相似，只不过是在group by之后的每组中取出一条记录而已。 但是distinct分组的时候是不使用排序来做分组的。   同样distinct也分为松散索引扫描和紧凑索引扫描   松散索引    测试过程中我发现如果distinct中的字段本身是唯一的或者没有数据则Extra中不是Using index for
mysql distinct 优化_Mysql应用分析MySQL中优化distinct的技巧
weixin_31901801的博客
01-27 2259
《MysqL应用分析MysqL中优化distinct的技巧》要点：本文介绍了MysqL应用分析MysqL中优化distinct的技巧，希望对您有用。如果有疑问，可以联系我们。sql用于统计用户访问的uv,由于单表的数据量在10G以上,即使在user_access_xx_xx上加上nick的索引,sql在执行的时候,会对整个服务器带来抖动；sql需要花费52.78s,已经非常的慢了解决该问题：sql...
MySQL 中如何优化 DISTINCT 查询
我爱娃哈哈的专栏
10-02 1123
在 MySQL 中，优化DISTINCT查询可以提高查询性能，特别是在处理大量数据时。除了添加索引外，还可以通过避免不必要的列、使用临时表、优化查询逻辑、使用分区表和调整数据库参数等方法来减少查询的执行时间和资源消耗。文章（专栏）将持续更新，欢迎关注公众号：服务端技术精选。。个人小工具程序上线啦，通过公众号（服务端技术精选）菜单【个人工具】即可体验，欢迎大家体验后提出优化意见！500 个访问欢迎大家踊跃体验哦~
mysql distingct_MySQL优化之distinct
weixin_29499957的博客
02-07 294
distinct实际上和group by的操作非常相似，只不过是在group by之后的每组中取出一条记录而已。但是distinct分组的时候是不使用排序来做分组的。同样distinct也分为松散索引扫描和紧凑索引扫描松散索引测试过程中我发现如果distinct中的字段本身是唯一的或者没有数据则Extra中不是Using index for group-by，而是显示using Index，说明M...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值