关于distinct去重后仍然有重复数据

最新推荐文章于 2021-01-14 15:13:53 发布
最新推荐文章于 2021-01-14 15:13:53 发布
阅读量4.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yoohhwz/article/details/90380488
博主记录工作中对用户地址信息原始数据拆分时，distinct地址字段后仍有重复数据，最终发现是中文全角半角问题，还给出了转换成半角的to_single_byte()和转换成全角的to_multi_byte()两个函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

记录一次工作中出现的小问题，在对一次用户地址信息原始数据拆分时候出现了dictinct地址字段后，结果仍然有重复数据出现，最终发现是因为中文全角半角的问题

---------------------------------华丽的分割线----------------------------------

不上图了，直接两个函数

to_single_byte()转换成半角
to_multi_byte()转换成全角

yoohhwz
关注
华为GaussDB数据库：DISTINCT去重操作实战指南
专注Java开发与国产数据库技术分享，涵盖达梦DM8/OceanBase/GaussDB核心原理与实战，兼及DeepSeek大模型部署、YOLOv11训练等AI技术，为开发者提供从基础到进阶的技术干货。
06-14 192
本文深入解析了GaussDB中DISTINCT操作的核心原理与应用优化。主要内容包括：1）DISTINCT的理论基础与语法规范，比较了标准DISTINCT与DaussDB特有的DISTINCT ON扩展；2）底层实现机制，包括排序去重和哈希去重算法；3）高级特性如DISTINCT ON在多表连接中的应用；4）性能优化技术，重点介绍了GaussDB的剪枝功能如何显著提升多表连接查询效率。文章通过具体示例和性能对比数据，展示了GaussDB在DISTINCT处理上的独特优势，为数据库开发人员提供了实用的优化指导
关于MYSQL和达梦数据库分组合并重复数据问题
xuejue8260的博客
11-29 4073
关于MYSQL和达梦数据库分组合并重复数据问题 问题模型 为了方便说明问题，让我们首先建立一个问题模型；假设有表A和表B，结构如下所述： 表A结构 列名 列类型 列说明 a_id bigint(20) 主键 a_name varchar(32) a名称 表B结构 列名 列类型 列说明 b_id bigint(20) 主键 b_a bigint(20) 关...
DISTINCT 去重仍有重复的分析
weixin_30901729的博客
06-26 1812
logger日志报错 插入数据时违反主键唯一约束 org.springframework.dao.DuplicateKeyException: ### Error updating database. Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate ...
mysql distinct 有重复字段
小龙在线
05-31 2109
distinct去除的不是重复字段，而是重复记录，就是去除DISTICT后面所有字段都相同的记录。 举例：假设在一个多店版的商城系统里，有一个记录销售记录的表，记录着每个店铺的每一笔销售额。如下： 运行下面的查询，然后分别对比结果，我们就不难发现，distinct是去除重复的记录。 第一条查询 select distinct uid from sale_log; 筛选出了有销售额的店主。 第二...
用了DISTINCT ,数据也重复
05-30 1313
原因检查方法,不能偷懒,一个个表去关联关系,即使很麻烦[@more@]1.数据存在空格 -- 可惜我不是这种情况2.DATE类型数据为秒存在差异SELECT distinct gl.batch_number, h.order_n...
oracle：关联表查询应用了distinct依旧有重复，如何去重复？
l475335848的博客
07-31 2915
当我们在查询的时候关联了a、b、c三张表后， 我们在某一字段distinct后，查询完发现这个字段依旧有重复的 再怎么办？ 我找到的方法是： 先将查出的数据导入一张临时表，例如是d表，我们重复字段是name， 那么就可以使用having count（*） =1 来做 首先 我们可以先单纯弄出name不重复列，在查询是套入where语句 比如：name不重复列; select name from d group by name having count(*) = 1; 查出来的就是不重复的name； 我们在来
Django 解决distinct无法去除重复数据的问题
09-16
### Django 解决 `distinct` 无法去除重复数据的问题 在使用Django进行数据库查询时，可能会遇到需要获取某个字段的所有不重复值的情况。这在数据分析、报表生成等场景中非常常见。然而，在某些情况下，使用Django...
mongodb中使用distinct去重的简单方法
09-10
这个功能与SQL中的`DISTINCT`关键字类似，可以帮助我们有效地去重并获取唯一的数据项。在本文中，我们将深入探讨如何在MongoDB中使用`distinct`命令以及它的工作原理。 首先，让我们看一个基本的`distinct`命令的...
MYSQL去重（使用 distinct 过滤重复数据）
名字都被占了
05-18 2205
使用 MYSQL 进行 select 查询时，查询结果为满足查询条件的所有数据。如若表中的部分字段没有唯一约束性，就会查询出重复数据。为了查询出不重复的数据，MYSQL 提供了distinct 关键字实现数据去重。 例： TEST 数据库中的数据表TABLE，其表结构和表数据如下 select a.* from table a; id name no score 1 张三 1001 98 2 李四 1002 98 3 王五 1003 96 4 张三 1001 95 使用说明
Java-Stream distinct 去重
一百度的风的博客
11-11 3929
写在前面 distinct()返回由该流的不同元素组成的流。distinct()是Stream接口的方法。distinct()使用hashCode() 和equals()方法来获取不同的元素。因此，我们的类必须实现hashCode()和equals()方法。 对象去重 代码实例 未重写hashCode()&equals() public class Student { private String name; private int age; private int type
SQL distinct 去除重复数据 删除
KingCruel的专栏
10-13 1240
SELECT distinct * FROM StandardProduct
SQLServer DISTINCT 数据去重
小目标一个亿
01-08 9254
DISTINCT作用就是去除重复列，准确的说是把查询的所有列看做一个整体，然后再去重复数据 有一张UserInfo表，数据如下： 查询“name”列：select name from UserInfo，结果为： 可以看出有重复的列，去除重复列：selectDISTINCT name from UserInfo，结果为： 如果查询多个列，比如：select name, R...
使用distinct在mysql中查询多条不重复记录值的解决办法
TomyGuan的专栏
05-11 3705
在使用mysql时，有时需要查询出某个字段不重复的记录，虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是distinct只能返回它的目标字段，而无法返回其它字段，这个问题让我困扰了很久，用distinct不能解决的话，我只有用二重循环查询来解决，而这样对于一个数据量非常大的站来说，无疑
c#对象集合去重_C# List集合去重操作注意点
weixin_36331429的博客
01-14 548
今天调试代码时发现list的distinct方法在对引用类型操作时并没有去重，后来查阅资料发现list去重操作对象集合时比较的是对象的一个个引用地址,因为集合里的对象都是一个个单独的实例,所以并不会把内容相同的元素去掉,要想真正去重还是要自己写方法筛选，但是值类型集合的就可以直接操作，包括Unoin,Intersect方法。当默认distinct方法不满足需求时,可以使用他的重载方法自定义一个比较...
使用distinct去重后查出所有字段
最新发布
09-04
使用distinct关键字可以去重查询结果中的所有字段。 在SQL中，distinct关键字用于从查询结果中去除重复的行。它会对查询结果中的所有字段进行对比，如果有重复的行，只会返回其中的一行。 假设有一张名为"students"的表，表中有以下字段：id、name、age、gender。现在我们想要查询出所有字段，并且去除重复的行。 可以使用以下SQL查询语句： SELECT DISTINCT id, name, age, gender FROM students; 上述查询语句会从"students"表中查询出所有字段，并去除重复的行。如果表中有多个行，其id、name、age、gender字段完全相同，则只会返回其中的一行。 使用distinct关键字可以让我们在查询中过滤掉重复的行，从而得到我们想要的结果。在实际应用中，根据具体的需求可以灵活运用distinct关键字进行数据的去重操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值