面试官:说一下加密后的数据如何进行模糊查询?

加密后的数据如何进行模糊查询? 需要注意的是,笔者以上列举的只是一个简单的示例,实际应用中可能需要更复杂的匹配算法来满足具体需求。另外,加密算法的选择和密钥管理也需要根据具体情况进行评估和调整。在Java中,如果要对加密后的数据进行模糊查询,首先需要将查询条件也进行相应的加密处理,然后使用模糊匹配算法对加密后的查询条件进行匹配。加密后的数据如何进行模糊查询? 阅读详情
正文

我们知道加密后的数据对模糊查询不是很友好,本篇就针对加密数据模糊查询这个问题来展开讲一讲实现的思路,希望对大家有所启发。

为了数据安全我们在开发过程中经常会对重要的数据进行加密存储,常见的有:密码、手机号、电话号码、详细地址、银行卡号、信用卡验证码等信息,这些信息对加解密的要求也不一样,比如说密码我们需要加密存储,一般使用的都是不可逆的慢hash算法,慢hash算法可以避免暴力破解(典型的用时间换安全性),在检索时我们既不需要解密也不需要模糊查找,直接使用密文完全匹配,但是手机号就不能这样做,因为手机号我们要查看原信息,并且对手机号还需要支持模糊查找,因此我们今天就针对可逆加解密的数据支持模糊查询来看看有哪些实现方式。

在网上随便搜索了一下,关于《加密后的模糊查询》 的帖子很多,顺便整理了一下实现的方法,不得不说很多都是不靠谱的做法,甚至有一些沙雕做法,接下来我们就对这些做法来讲讲实现思路和优劣性。

如何对加密后的数据进行模糊查询

我整理了一下对加密的数据模糊查询大致分为三类做法,如下所示:

  • 沙雕做法(不动脑思考直男的思路,只管实现功能从不深入思考问题)

  • 常规做法(思考了查询性能问题,也会使用一些存储空间换性能等做法)

  • 超神做法(比较高端的做法从算法层面上思考)

我们就对这三种实现方法一一来讲讲实现思路和优劣性,首先我们先看沙雕做法。

沙雕做法

  • 将所有数据加载到内存中进行解密,解密后通过程序算法来模糊匹配

  • 将密文数据映射一份明文映射表,俗称tag表,然后模糊查询tag来关联密文数据

沙雕一

我们先来看看第一个做法,将所有数据加载到内存中进行解密,这个如果数据量小的话可以使用这个方式来做,这样做既简单又实惠,如果数据量大的话那就是灾难,我们来大致算一下。

一个英文字母(不分大小写)占一个字节的空间,一个中文汉字占两个字节的空间,用DES来举例,13800138000加密后的串HE9T75xNx6c5yLmS5l4r6Q==占24个字节。

条数BytesMB
100w2400万22.89
1000w2.4亿228.89
1亿24亿2288.89

轻则上百兆,重则上千兆,这样分分钟给应用程序整成Out of memory,这样做如果数据少只有几百、几千、几万条时是完全可以这样做的,但是数据量大就强烈不建议了。

沙雕二

我们再来看第二个做法,将密文数据映射一份明文映射表,然后模糊查询映射表来关联密文数据,what???!!!那我们为什么要对数据加密呢,直接不加密不是更好么!

我们既然对数据加密肯定是有安全诉求才会这样做,增加一个明文的映射表就违背了安全诉求,这样做既不安全也不方便完全是脱裤子放x,多此一举,强且不推荐。

常规做法

我们接下来看看常规的做法,也是最广泛使用的方法,此类方法及满足的数据安全性,又对查询友好。

  • 在数据库实现加密算法函数,在模糊查询的时候使用decode(key) like '%partial%

  • 对密文数据进行分词组合,将分词组合的结果集分别进行加密,然后存储到扩展列,查询时通过key like '%partial%'

常规一

在数据库中实现与程序一致的加解密算法,修改模糊查询条件,使用数据库加解密函数先解密再模糊查找,这样做的优点是实现成本低,开发使用成本低,只需要将以往的模糊查找稍微修改一下就可以实现,但是缺点也很明显,这样做无法利用数据库的索引来优化查询,甚至有一些数据库可能无法保证与程序实现一致的加解密算法,但是对于常规的加解密算法都可以保证与应用程序一致。

如果对查询性能要求不是特别高、对数据安全性要求一般,可以使用常见的加解密算法比如说AES、DES之类的也是一个不错的选择。

如果公司有自己的算法实现,并且没有提供多端的算法实现,要么找个算法好的人去研究吃透补全多端实现,要么放弃使用这个办法。

我们创建了一个高质量的技术交流群,与优秀的人在一起,自己也会优秀起来,赶紧点击加群,享受一起成长的快乐。

常规二

对密文数据进行分词组合,将分词组合的结果集分别进行加密,然后存储到扩展列,查询时通过key like '%partial%',这是一个比较划算的实现方法,我们先来分析一下它的实现思路。

先对字符进行固定长度的分组,将一个字段拆分为多个,比如说根据4位英文字符(半角),2个中文字符(全角)为一个检索条件,举个例子:

ningyu1使用4个字符为一组的加密方式,第一组ning ,第二组ingy ,第三组ngyu ,第四组gyu1 … 依次类推。

如果需要检索所有包含检索条件4个字符的数据比如:ingy ,加密字符后通过 key like “%partial%” 查库。

我们都知道加密后长度会增长,增长的这部分长度存储就是我们要花费的额外成本,典型的使用成本来换取速度,密文增长的幅度随着算法不同而不同以DES举例,13800138000加密前占11个字节,加密后的串HE9T75xNx6c5yLmS5l4r6Q==占24个字节,增长是2.18倍,所以一个优秀的算法是多么的重要,能为公司节省不少成本,但是话又说回来算法工程师的工资也不低,所以我也不知道是节省成本还是增加成本,哈哈哈…你们自己算吧。

回到主题,这个方法虽然可以实现加密数据的模糊查询,但是对模糊查询的字符长度是有要求的,以我上面举的例子模糊查询字符原文长度必须大于等于4个英文/数字,或者2个汉字,再短的长度不建议支持,因为分词组合会增多从而导致存储的成本增加,反而安全性降低。

大家是否都对接过 淘宝、拼多多、JD他们的api,他们对平台订单数据中的用户敏感数据就是加密的同时支持模糊查询,使用就是这个方法,下面我整理了几家电商平台的密文字段检索方案的说明,感兴趣的可以查看下面链接。

淘宝密文字段检索方案阿里巴巴文字段检索方案拼多多密文字段检索方案京东密文字段检索方案

ps. 基本上都是一样的,果然都是互相抄袭,连加密后的数据格式都一致。

这个方法优点就是实现起来不算复杂,使用起来也较为简单,算是一个折中的做法,因为会有扩展字段存储成本会有升高,但是可利用数据库索引优化查询速度,推荐使用这个方法。

超神做法

我们接下来看看优秀的做法,此类做法难度较高,都是从算法层面来考虑,有些甚至会设计一个新算法,虽然已有一些现成的算法参考,但是大多都是半成品无法拿来直接使用,所以还是要有人去深入研究和整合到自己的应用中去。

  • 从算法层面思考,甚至会设计一个新算法来支持模糊查找

这个层面大多是专业算法工程师的研究领域,想要设计一个有序的、非不可逆的、密文长度不能增长过快的算法不是一件简单的事情,大致的思路是这样的,使用译码的方式进行加解密,保留密文和原文一样的顺序,从而支持密文模糊匹配,说的比较笼统因为我也不是这方面的专家没有更深一步的研究过,所以我从网上找了一些资料可以参考一下。

  • 数据库中字符数据的模糊匹配加密方法

这里提到的Hill密码处理和模糊匹配加密方法FMES可以重点看看.

  • 一种基于BloomFilter的改进型加密文本模糊搜索机制研究

  • 支持快速查询的数据库如何加密

  • 基于Lucene的云端搜索与密文基础上的模糊查询

基于Lucene的思路就跟我们上面介绍的常规做法二类似,对字符进行等长度分词,将分词后的结果集加密后存储,只不过存储的db不一样,一个是关系型数据库,一个是es搜索引擎。

  • 云存储中一种支持可验证的模糊查询加密方案

总结

我们到这里对加密数据的检索方案全部介绍完了,我们首先提到的是网上搜索随处可见的沙雕做法,在这里也讲了不推荐使用这些沙雕做法,尽量使用常规做法,如果公司有专业算法方向人才的话不妨可以考虑基于算法层面的超神做法。

总的来说从投入、产出比、及实现、使用成本来算的话常规做法二是非常推荐的。

Java的加密的字段模糊查询 在数据库中实现与程序一致的加解密算法,修改模糊查询条件,使用数据库加解密函数先解密再模糊查找,这样做的优点是实现成本低,开发使用成本低,只需要将以往的模糊查找稍微修改一下就可以实现,但是缺点也很明显,这样做无法利用数据库的索引来优化查询,甚至有一些数据库可能无法保证与程序实现一致的加解密算法,但是对于常规的加解密算法都可以保证与应用程序一致。基于Lucene的思路,对字符进行等长度分词,将分词后的结果集加密后存储,只不过存储的db不一样,一个是关系型数据库,一个是es搜索引擎。listId=345。 阅读详情

相关推荐

敏感数据加密后如何实现模糊查询

敏感数据加密后如何实现模糊查询

bjzhang75的博客 1659

被加密后的数据怎么进行模糊查询?

被加密后的数据怎么进行模糊查询

ZULJ131的博客 8273

加密数据模糊查询实战:基于HMAC索引的工程实现与安全权衡

数据加密是保护敏感信息(如用户姓名、手机号)的核心技术,它通过密码学算法将明文转换为不可读的密文,确保即使数据泄露,攻击者也无法直接获取原始内容。然而,传统的加密方式破坏了数据的格式和模式,使得基于内容的模糊查询(如SQL LIKE操作)变得不可能,这与业务中常见的搜索需求产生了根本矛盾。为了解决这一难题,工程实践中发展出了“安全索引”方案,通过在加密数据之外,为可查询的特征(如姓氏、手机号前缀)建立独立的、确定性的哈希索引(如HMAC),在查询时对搜索词进行相同的哈希计算后进行等值匹配,从而在安全性和查询

weixin_33749242的博客 369

加密后的敏感字段进行模糊查询解决办法

加密后的敏感字段进行模糊查询解决办法,附java 示例

果酱 の 博客 5563

Java数据脱敏实战:从存储加密到展示脱敏的完整解决方案

数据脱敏是信息安全领域的基础技术,其核心原理是通过对敏感数据进行变形、替换或加密,在保证业务功能正常使用的前提下防止隐私泄露。这项技术的核心价值在于平衡数据可用性与安全性,满足GDPR、个保法等合规要求。在Java企业级开发中,数据脱敏广泛应用于用户信息展示、日志输出、数据导出等场景。通过注解驱动与AOP等机制,开发者可以实现声明式的脱敏逻辑,而存储层的加密与哈希技术则为数据落盘提供安全保障。本文聚焦Java生态,深入探讨如何基于Spring Boot构建覆盖存储层、展示层、传输层的完整脱敏方案,并解析敏感

adiking520110的博客 350

面试中如何系统回答加密场景:从技术选型到密钥管理的实战解析

加密技术是保障数据安全的核心手段,涉及机密性、完整性与身份认证等基础安全目标。其原理基于密码学算法,如对称加密(AES)与非对称加密(RSA),结合哈希函数(如BCrypt)与数字签名实现不同场景的防护。在工程实践中,加密的价值不仅在于算法应用,更在于如何通过系统的密钥管理、正确的模式选择(如GCM)与性能优化,将安全原则落地为可靠、可维护的解决方案。典型应用场景包括用户密码存储、敏感数据传输、数据库字段级加密与API防篡改等。本文聚焦面试中的加密话题,深入探讨如何构建从业务场景到技术细节的完整回答框架,并

weixin_34124651的博客 317

面试官:加密后的数据如何进行模糊查询?

这个层面大多是专业算法工程师的研究领域,想要设计一个有序的、非不可逆的、密文长度不能增长过快的算法不是一件简单的事情,大致的思路是这样的,使用译码的方式进行加解密,保留密文和原文一样的顺序,从而支持密文模糊匹配,说的比较笼统因为我也不是这方面的专家没有更深一步的研究过,所以我从网上找了一些资料可以参考一下。在网上随便搜索了一下,关于《加密后的模糊查询》 的帖子很多,顺便整理了一下实现的方法,不得不说很多都是不靠谱的做法,甚至有一些沙雕做法,接下来我们就对这些做法来讲讲实现思路和优劣性。

m0_69632475的博客 822

Spring Boot整合AWS S3文件上传实战:从配置到权限管理全流程解析

本文详细解析了Spring Boot整合AWS S3文件上传的全流程,包括基础配置、核心上传功能实现、高级权限控制及安全最佳实践。通过实战案例展示如何高效处理文件上传、大文件分片及权限管理,帮助开发者构建健壮的文件管理系统。特别强调AWS S3的高可用性和安全性,适用于企业级应用开发。

sam99的博客 284

字段加密与查询优化

数据安全加密架构的核心在于应用层加密与密钥管理分离。敏感字段应采用AES-256-GCM加密存储,密码则使用bcrypt等哈希算法。针对查询难题,通过建立哈希映射列实现精确查询,模糊查询建议采用ES辅助或内存过滤。密钥必须通过KMS动态获取,采用信封加密机制(DEK+KEK)。历史数据迁移需分阶段实施:加列→双写→数据清洗→读切换→清理明文列。这种架构既防止内鬼泄密,又保证系统可用性,符合GDPR等合规要求。

weixin_52611737的博客 829

《物联网技术》课程笔记——第二章 物联网技术架构

文章目录第二章:物联网技术架构1 物联网技术体系(C3SD)2 系统体系结构的基本概念3 物联网体系结构——信息传递视角3.1物联网感知层3.1.1 感知层要解决的问题3.1.2 感知层的形态3.1.3 节点的感知能力与控制能力3.1.4 感知层实例3.2 物联网网络层3.2.1 网络相关概念3.2.2 IPV6与IPV4相比互联网协议的升级3.2.3 计算机网络的逻辑层次3.2.4 传输网的拓扑结构3.2.4.1 举例:智能小区的三表采集系统3.2.4.2 接入层3.2.4.2 汇聚层3.2.4.2 核心

南京大学软件工程硕士在读 2503

大厂高频面试题:手机号加密存储后,如何快速按尾号查询?

面试官:"在你的项目中,用户手机号是怎么存储的?我们都知道手机号属于敏感个人信息,必须加密存储。那如果现在有一个需求:运营后台需要支持,同时还要满足《个人信息保护法》和等保2.0的合规要求,你会怎么设计?

Java架构师之路的博客 185

infercnv的实操

摘要: 博主在infercnv分析中遇到执行困难,外包服务不可靠(未按要求使用HMM方法)。通过优化策略(逐样本处理、精简细胞至1000个、固定随机种子)解决了运行问题,但HMM功能仍无法实现。最终参考Cell期刊标准设置阈值完成分析,后续将继续更新进展。该案例凸显了生物信息分析中自主优化的重要性。(150字)

xiaoyusang的博客 310

基于AES加密的学籍管理系统:从数据安全原理到SpringBoot工程实践

数据安全是软件系统设计的核心议题,尤其在处理用户敏感信息时。对称加密算法AES(高级加密标准)因其高效和安全性,成为保护静态数据的常用技术。其原理在于使用相同的密钥进行加密和解密,通过分组密码和特定工作模式(如CBC)确保数据机密性。在工程实践中,将AES集成到应用层,能有效解决敏感数据(如身份证号、手机号)在数据库存储时的泄露风险,符合《网络安全法》等法规要求。本文以经典的学籍管理系统为例,详细拆解了在SpringBoot架构中,如何设计密钥管理方案、实现字段级加密工具类,并应对加密后数据查询的挑战,为构

500

54、生物神经网络建模全解析

本文系统解析了生物神经网络的建模方法,涵盖从单个神经元到神经网络的多个时空尺度。首先介绍神经元层面的生物物理模型(如霍奇金-赫胥黎模型和多隔室模型)与多种简化模型(如菲茨休-纳古莫、莫里斯-勒卡尔、积分发放模型等),并分析其适用场景。随后探讨突触层面的信号传递机制,对比电突触与化学突触在结构、传输速度和方向上的差异,阐述其在神经网络建模中的理论意义。文章旨在为理解神经系统的信息处理机制、构建受生物启发的人工智能模型提供理论基础。

app77的博客 79

【宝藏级】全网最全的Pandas详细教程(2万字总结)

【回炉重造】Python之Pandas详细教程前言为什么要学习pandas?什么是Pandas?官网1. Pandas的索引操作索引对象Index {#索引对象index}1. Series和DataFrame中的索引都是Index对象2. 索引对象不可变,保证了数据的安全常见的Index种类Series索引 {#series索引}1. index 指定行索引名2. 行索引3. 切片索引4. 不连续索引5. 布尔索引DataFrame索引1. columns 指定列索引名2. 列索引3. 不连续索引高级索引

全网粉丝30W+,优快云、稀土掘金人工智能领域签约作者,人工智能、大模型、Python 爬虫,商务合作,请私信沟通。 6万+
上一篇: SpringBoot 接口加密解密,新姿势!
下一篇: 20 个实例玩转 Java 8 Stream
Java思维导图
博客等级 码龄10年 306粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值