【数据安全】数据库敏感数据加密和模糊查询

数据库敏感数据加密技术 大数据时代的到来,数据成为企业最重要的资产之一,数据加密的也是保护数据资产的重要手段。本文主要在结合学习通过MySQL/Oracle/SQL server函数及Python加密方法来演示数据加密的一些简单方式。 ............... 阅读详情

背景

业务数据库中存储着明文的手机号和身份证号姓名等敏感数据,这些敏感数据理论上需要密文显示,防止不必要的数据安全事件出现

需求

我们需要做的是,将数据库的明文敏感字段加密成密文字段,但是还需要满足原有的查询需求

这时候我们可以来大概计划下需要进行的工作

  • 写库的时候需要对敏感数据进行加密
  • 读库的时候需要对数据进行解密
  • 历史数据需要进行加密
  • 支持搜索,比如=、like等

加密方式

我们常用的加密方式分为对称加密和非对称加密,我们都需要对数据进行加密和解密,所以我们需要选择对称加密的加密算法,常见的算法例如:

  • AES
  • DES
  • SM4

 

实现思路

数据加密

如果我们使用的是mysql作为业务数据库,那么在mysql上是原生支持简单版本的AES和DES加解密函数DES_DECRYPT、DES_ENCRYPT、AES_DECRYPT、AES_ENCRYPT

当我们只需要简易版本的AES和DES加密时,可以直接使用,在模糊查询时只需要在查询字段上加上解密函数即可

但是

把计算放在数据库明显不符合时下的互联网需求,这对数据库来说会带来巨大的计算压力,从而影响整个服务的响应。

我们可以将数据加密解密放到应用上处理,在写入数据的时候先进行加密,在读取数据之后进行解密

实现示例

要优雅的实现,采用是mybatis的实现方法为例,我们可以参照mybatis的类型处理器的实现

public interface TypeHandler<T> {

  void setParameter(PreparedStatement ps, int i, T parameter, JdbcType jdbcType) 
throws SQLException;

  T getResult(ResultSet rs, String columnName) throws SQLException;

  T getResult(ResultSet rs, int columnIndex) throws SQLException;

  T getResult(CallableStatement cs, int columnIndex) throws SQLException;

}

 我们可以实现这个接口,并实现它的接口

public class EncryptTypeHandler implements TypeHandler<String> {

    @Override
    public void setParameter(PreparedStatement ps, int i, String parameter, JdbcType jdbcType) throws SQLException {
        String encodeParameter = Encoder.encode(parameter);
        ps.setString(i, encodeParameter);
    }

    @Override
    public String getResult(ResultSet rs, String columnName) throws SQLException {
        String encodeCloumnResult = rs.getString(columnName);
        String decodeCloumnStr = Decoder.decode(encodeCloumnResult);
        return decodeCloumnStr;
    }

    @Override
    public String getResult(ResultSet rs, int columnIndex) throws SQLException {
        String encodeCloumnResult = rs.getString(columnIndex);
        String decodeCloumnStr = Decoder.decode(encodeCloumnResult);
        return decodeCloumnStr;
    }

    @Override
    public String getResult(CallableStatement cs, int columnIndex) throws SQLException {
        String encodeCloumnResult = cs.getString(columnIndex);
        String decodeCloumnStr = Decoder.decode(encodeCloumnResult);
        return decodeCloumnStr;
    }
}

然后mybatis-config.xml中注册这个handler

<typeHandlers>
    <typeHandler javaType="String" jdbcType="VARCHAR"
                 handler="com.xxx.custom.handler.EncryptTypeHandler"/>
</typeHandlers>

然后在写mapper.xml的时候根据要写入的列这样用

 <resultMap id="baseResultMap" type="com.xxxx.mybatis.model.XXXXDTO">
        <result column="cloumn" property="cloumn" jdbcType="VARCHAR"
        typeHandler="com.xxx.custom.handler.EncryptTypeHandler"></result>
    </resultMap>

    <select id="selet" resultMap="baseResultMap" >
        select * from table where cloumn = #{cloumn,
        jdbcType=VARCHAR,typeHandler=com.xxx.custom.handler.EncryptTypeHandler}
    </select>

那未来读写数据库的数据加密问题解决了,历史数据呢?

数据清洗

可以根据停机不停机的方法来处理

  • 如果允许停机到数据处理完成的话只需停机后,批量查询出来数据,再对数据进行加密后批量更新写入
  • 如果只允许短时间停机的话,可以先备份数据库后对历史数据进行更新,再采用停机的方式,将未停机时间内的增量数据进行更新
  • 如果不允许停机的话,可以在业务操作时同时对数据进行处理,但是需要对数据进行标识以便于typeHandler对数据的处理,还需要一个异步任务同步对数据进行加密处理,这个方式较为平稳但是工作量会较大

数据查询

等值查询

等值查询我们只需要暴力的将要查询的字段值进行加密后进行查询即可

模糊查询

加密算法是对原始数据进行各种换位和计算后得到一个新的字符串数据,加密后的字符串数据的顺序跟原始数据有关系但是并不是一定的顺序关系,所以模糊查询想通过加密数据来模糊很难实现

这时候,只能曲线救国了,努力说明产品不实现这个需求或者改变这个需求

当然,肯定是只能稍微对需求进行修改

  • 手机号 比如说我们对于搜索手机号类的数据,我们主要针对的数据是后4/8位,我们可以单独对这个数据进行加密后写入库中单独的列上,或者增加搜索中间表,这个表可以同时同步进搜索中间如es等,在查询时依旧采用等值搜索

  • 身份证号 身份证号的构成是前3位代表省份4-6位代表市区,我们可以针对此进行特定的标记,参考车牌的编制方式,我们可以将350、212可以标记成闽、D1,按照我们国年纪分布,我们可以采用2位数字+字母的方式组成后一个关键词,记录1850之后的数据

以此类似的方式,我们可以对数据进行抽奖标记成特殊的字段,然后进行等值查询,在此之前只需要在搜索时,对搜索框进行逻辑预标定。

不过你要是无法说服产品经理修改需求,非要进行模糊查询的话

只能对加密算法入手了,根据特定的算法,将某个字符加密后变成另外一个字符,加密后原定的顺序排列,搜索时将关键词按同等的加密方式加密后查询,当然这可能会出现问题,这样的加密方式比较容易被破解,加密可能会形同虚设

作者:1hassan
链接:https://juejin.cn/post/7331070709114535946
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

MySQL敏感数据进行加密的几种方法 阅读详情

相关推荐

JAVA实战:加密敏感数据模糊查询的四种实现方案对比与选型指南

本文详细对比了JAVA中加密敏感数据模糊查询的四种实现方案,包括内存解密查询、明文映射表、数据库函数解密和分词密文映射方案。重点推荐了分词密文映射方案,该方案在安全性和查询性能之间取得了最佳平衡,适用于处理手机号、身份证号等敏感字段的加密存储与模糊查询需求。

weixin_28568819的博客 694

敏感数据如何加密?

敏感数据的加密是数据安全的重要方面,尤其是对于手机号和身份证号这类个人信息。如果这些信息以明文形式存储在数据库中,一旦数据库被黑客攻破,大量的个人信息就会泄露,可能被用于不法活动。数据加密可以在不同的层面上实现,例如应用层、数据库层或传输层。这里,我们将讨论在业务中如何加密敏感数据。

半亩方塘立身 2836

MySQL数据库对敏感数据加密及解密的实现方式

主要介绍了MySQL数据库对敏感数据加密及解密的实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值 ,需要的朋友可以参考下

数据关系的数据库加密与安全:保护敏感数据的实践

1.背景介绍 数据库加密和数据安全是在当今数字时代至关重要的问题。随着数据库系统的不断发展和发展,数据库加密技术也逐渐成为了数据库系统的重要组成部分。数据库加密技术的主要目的是保护数据的机密性、完整性和可用性,以确保数据库系统的安全性。 在这篇文章中,我们将从以下几个方面进行讨论: 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未...

AI天才研究院 1090

当版图同学只给GDS文件时,我是这样用Calibre PEX和Cadence做后仿真的(保姆级避坑)

本文详细介绍了在模拟IC设计中,当仅获得GDS文件时,如何利用Calibre PEX和Cadence进行高效后仿真的完整流程。涵盖从寄生参数提取到Spectre模型创建的实战技巧,特别针对版本兼容性、文件独立性和参数可调性等常见问题提供解决方案,帮助工程师规避协作中的典型陷阱。

weixin_42556197的博客 247

国税局发票查验中英文验证码识别最新版,识别率99.9%

采用深度学习进行发票查验验证码模型的训练,在我电脑上模型训练的环境如下: 显卡:RTX 2080TI tensorflow-gpu:2.5.3 1 训练集和测试集的准备 发票查验的验证码分为4种类型,分别为黑色、红色、黄色、蓝色,经过我的测试,采用4个模型的效果最好,每个模型对应识别一种类型的验证码。 首先我们4种类型的验证码都准备10万张。 00黑色类型的验证码: 01红色类型的验证码: 02黄色类型的验证码: 03蓝色类型的验证码: 验证码图像图像准备好后,对其进行标记,也就是对验证码重命名:

Keras深度学习 83万+

数据库中敏感信息的加密方法

数据库中通常保存着用户的敏感信息,例如账户密码,身份证号,手机号等。如果被黑客入侵,就会造成用户信息泄露的严重后果。因此为了保护用户信息,需要对敏感信息加密,以保证数据的安全性。提示:以下是本篇文章正文内容,下面案例可供参考虽然用户的敏感信息(如密码),可能是个简单的数字(如123456),但是黑客攻破数据库拿到的信息是一个 盐值 + 密文 组合的字符串,黑客并不知道我们的加密方式,因此不能破解得到用户的敏感信息,起到了保护用户敏感信息的作用。

weixin_41965831的博客 1388

浊音/清音/爆破音的时域及频域特性

第一周作业 浊音/清音/爆破音的时域及频域特性 思路:使用Audacity进行录制,时域部分将音频放大观察波形规律,频域部分生成并进行频谱分析。 (1)浊音U 时域分析: 时域表现为短周期性,波形比较规律。 频域分析: 频域上表现为频率集中在低频区域,共振峰较为明显,短时能量较高。 (2)清音S 时域分析: 时域波形没有周期性,整体振幅小于浊音。 频域分析: 频域波形平缓,无共振峰,能量比较集中。 (3)爆破音t 时域分析: 脉冲波,更为尖锐,整体上振幅降低。 频域分析: 没有像浊音一样的共振

Leylaaaa的博客 1228

【MySQL】敏感数据加密后如何模糊查询?

如何才能让敏感数据加密后依旧支持模糊查询?

秋玄的博客 2685

Ultrascale/Ultrascale+ FPGA GTH IP及结构详解(一)

FPGA GTH Transceiver

houzi6320的博客 1万+

如何通过 GitHub Actions 使用 SSH 自动化部署到阿里云 ECS 实例

通过 GitHub Actions 和 SSH 自动化部署,可以显著提高你的开发效率和部署的可靠性。本文介绍了如何生成 SSH 密钥、将公钥添加到阿里云 ECS 实例、将私钥添加到 GitHub Secrets,以及编写 GitHub Actions 工作流来实现自动化部署。希望这篇文章对你有所帮助!

吃面不喝汤的博客 1514

加密后的数据如何进行模糊查询

我们知道加密后的数据对模糊查询不是很友好,今天我们就具体探讨一下加密以后数据怎么继续模糊查查询的问题。我们需要加密存储,一般使用的都是不可逆的慢hash算法,慢hash算法可以避免暴力破解(典型的用时间换安全性),在检索时我们既不需要解密也不需要模糊查找,直接使用密文完全匹配但是手机号就不能这样做,因为手机号我们要查看原信息,并且对手机号还需要支持模糊查找,因此我们今天就针对可逆加解密的数据支持模糊查询来看看有哪些实现方式。

zhiyikeji的博客 5004

31、航空软件标准DO - 178C/ED - 12C的实践解读

本文深入解读了航空软件标准DO-178C/ED-12C相较于DO-178B的主要变化,涵盖核心文本更新、各章节关键改进及新技术补充文件的影响。重点分析了目标与活动关系、需求层级定义、验证独立性、MC/DC覆盖、停用代码处理等关键变更,并提供了应对策略,包括流程调整、文档更新、工具选择和与认证机构沟通等建议,旨在帮助航空软件开发者确保合规性,提升软件安全性与可靠性。

tech5的博客 247

敏感数据加密和模糊匹配

银行等金融机构在处理敏感数据(如身份证号、银行卡号、手机号、客户姓名等)时,有非常严格的合规要求和高安全需求,通常会综合使用多种加密/脱敏/加密查询技术来保障数据安全,同时兼顾性能和查询能力。下面分为和。

刘皇叔说Java的博客 1560

使用Simulink来模拟多旋翼无人机在风扰动条件下的飞行情况,并分析其稳定性

本教程详细介绍了使用Simulink进行多旋翼无人机风扰动稳定性分析的完整流程。首先构建包含飞行器动力学模型、控制系统和环境模拟模块的系统框架,重点讲解简化动力学方程的实现方法。随后指导设计PID控制器来维持姿态稳定,并添加随机风扰动模型模拟环境干扰。通过设置输入信号和输出显示,最终实现对不同风速条件下无人机控制性能的评估。该实例为无人机控制系统设计提供了实用的仿真方法,强调利用MATLAB工具进行可视化分析和参数优化,以提高系统抗干扰能力和稳定性。

amy_mhd的博客 422

LabVIEW实现TCP通信

在本节中,我们将简要探讨TCP通信的基础知识,并以工业物联网平台TLINK中的云端设备数据发布设计为例,详细阐述在互联网环境下TCP客户端应用程序设计的基本方法。

不脱发的程序猿 1967

加密数据库模糊查询

看了不少论文和贴子,论文的共性是完全脱离实际,比如cryptDB,现在数据动不动就几十亿,这种加密好几层的做法实在不合实际,但是基本的思路都差不多,都是基于分词加密。其实数据库加密和可查本身就是悖论,暂时没有很能支持这个方向的加密方案。

niujinya的博客 775

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

加密后的敏感字段进行模糊查询解决办法

加密后的敏感字段进行模糊查询解决办法,附java 示例

果酱 の 博客 5563

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

领码方案:加密数据如何实现模糊查询,从理论到实践

摘要 本文探讨加密存储与模糊查询的技术冲突,提出三类解决方案:1)暴力解密匹配(沙雕做法);2)分词加密+扩展列(常规方案);3)高级算法(顺序加密/BloomFilter/AI索引)。重点推荐"分词加密+扩展列"的平衡方案,通过预分词加密实现安全可索引的模糊查询。文章对比各方案优劣,建议根据数据规模选择适配方案,最终达成安全、性能与成本的工程平衡。

领码SPARK - 以无代码之星火,燎原数字之未来! 1530

对加密字段进行模糊查询:基于分词密文映射表的实现方案

在数据安全日益重要的背景下,数据库字段加密成为保护敏感信息的常见做法,但加密后的数据给模糊查询带来了挑战。本文提出了一种基于分词密文映射表的解决方案,实现对加密字段的高效模糊查询。该方案通过建立分词密文映射表,在数据新增或修改时对字段值进行分词组合加密,并在查询时对关键字加密后在映射表中进行LIKE查询,最终通过主键回原表查询完整数据。

zyxzyx666的博客 1224

MyBatis-Plus拦截器对敏感数据实现加密

MyBatis-Plus拦截器对敏感数据实现加密 做课程项目petstore时遇到需要加密属性的问题,而MyBatis-Plus为开发者提供了拦截器的相关接口,用于与数据库交互的过程中实现特定功能,本文主要介绍通过MyBatis-Plus的拦截器接口自定义一个拦截器类实现敏感数据如用户密码的加密功能,即实现在DAO层写入数据库时传入明文,而数据库中存储的是密文。由于加密算法有多种,这里不展示具体的加密步骤,主要讨论拦截器的构建。 一、定义注解 自定义相关注解,将需要加密的字段及其所在的实体类进行标注,方便拦

Atlas 3362

如何在加密数据上实现模糊查询?技术方案全解析

在大数据时代,如何在加密数据上实现模糊查询是一个重要挑战。本文探讨了6种主流技术方案......

qq_43947876的博客 1529

SpringBoot 实战 - 基于【强加密主存 + HMAC 分片索引】的加密数据模糊查询方案

本文提出了一种敏感信息加密存储与模糊查询的创新方案——分片存储。该方案通过双表设计(主业务表+分片索引表)和双层加密(AES-256-GCM+HMAC-SHA256)实现数据安全与查询效率的平衡。核心原理是将敏感信息切片生成HMAC指纹索引,查询时先匹配索引再回表解密,形成"索引先行,密文回表"的闭环。相比明文匹配、数据库函数解密和ES检索等方案,分片存储在10万到千万级数据场景下,兼具安全性、性能和维护简便性优势,是合规性要求严格的业务场景的理想选择。

小工匠 1268

加密数据如何实现模糊查询:技术原理与实践

加密数据的模糊查询是数据安全与查询便利性之间的平衡点。当前主流的解决方案包括前缀加密、模糊哈希匹配、以及可搜索加密等技术。在实践中,选择合适的方案需要根据具体的业务场景权衡性能、复杂度和安全性。未来,随着隐私保护计算、零知识证明等技术的发展,我们有望实现更安全、更高效的加密模糊查询方案,赋能更多数据安全应用场景。如果你对加密模糊查询还有更多想法,欢迎在评论区一起交流!✨。

fudaihb的博客 1276

【PHP开发900个实用技巧】664.PHP敏感数据加密存储:数据库泄露后的“最后一道防线”

《PHP敏感数据加密存储:数据库泄露后的“最后一道防线”》为开发者提供了一套全面的数据加密策略,帮助在PHP开发中通过加密存储敏感数据,确保即使在数据库泄露的情况下,核心数据仍然安全。首先,指南揭示了传统开发中数据存储的常见漏洞,通过具体案例展示了这些漏洞如何导致数据泄露,强调了使用加密存储的必要性。接着,详细介绍了加密方式的选择、密钥管理、数据存储设计、性能与安全的平衡以及实战演练,帮助开发者在不同场景中正确配置和使用加密策略,确保数据的安全性和系统的稳定性。在加密方式选择部分,指南推荐了AES-256-

733

Interview preparation--案例加密后数据的模糊查询

如果需要检索所有包含检索条件4个字符的数据比如:test,加密字符后通过 key like “%partial%” 查库。

0102的博客 960
上一篇: springmvc搭建问题记录
下一篇: 记录Java导出Excel,给某个单元格设置文本格式或者某一列设置文本格式,需要给用户编号列设置为文本格式
Face_To_Object
博客等级 码龄5年 8粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值