Apache ShardingSphere 5.4.1 版本发布，数据加密再升级，提供更高级别的数据保护！

最新推荐文章于 2025-10-28 11:44:57 发布
原创 最新推荐文章于 2025-10-28 11:44:57 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #数据库

Apache ShardingSphere 5.4.1版本发布，加强数据加密规则，禁止密文列DDL，确保数据安全。新增对衍生列格式和长度的限制，兼容更多连接池，包括druid、dbcp和c3p0。此版本还修复了多项问题，提供更好的数据库管理和扩展性。

04a479a5c8ba7d8e99c2585e079cc034.jpeg

概要

ShardingSphere

Apache ShardingSphere 本周迎来了 5.4.1 版本的发布，该版本历时两个多月，累计合并了来自全球团队和个人的 967 个 PR，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次更新包含了不少能够提升用户体验、解决用户痛点的内容，本文与大家一起快速预览：

  • 加密：加密规则除了明文列、密文列外不与逻辑列重名

  • 加密：Proxy 禁止密文列 DDL

  • 加密：衍生列格式和长度固定 varchar 4000

  • 适配：Proxy 连接池适配（druid、dbcp、c3p0）

5946a8a41a236e370963496a2dcf33d0.jpeg

功能预览

ShardingSphere

01加密规则除了明文列、密文列外不与逻辑列重名

  • 背景说明

当前加密规则中未校验配置中衍生列的字段名称是否与逻辑列同名，本次新增衍生列列名校验，如果与逻辑列重名，则报错提示

  • 技术实现

新增对 加密 Rule 的衍生列校验项，提示信息为：

assisted query column or like query column conflicts with logic column
private void checkColumnNames(final CreateEncryptRuleStatement sqlStatement) {
    for (EncryptRuleSegment each : sqlStatement.getRules()) {
        ShardingSpherePreconditions.checkState(isColumnNameNotConflicts(each),
                () -> new InvalidRuleConfigurationException("encrypt", "assisted query column or like query column conflicts with logic column"));
    }
}


private boolean isColumnNameNotConflicts(final EncryptRuleSegment rule) {
    for (EncryptColumnSegment each : rule.getColumns()) {
        if (null != each.getLikeQuery() && each.getName().equals(each.getLikeQuery().getName())) {
            return false;
        }
        if (null != each.getAssistedQuery() && each.getName().equals(each.getAssistedQuery().getName())) {
            return false;
        }
    }
    return true;
}

02  Proxy 禁止密文列 DDL

  • 背景说明

当前配置加密规则后，未对加密表的 DDL 拦截，如果对加密列/明文列执行 DDL（如：修改字段类型、长度，甚至直接 drop 字段），可能直接影响数据写入、读取，造成故障问题等

本次新增对加密表的 ALTER 语句类型判断，放行 ALTER xxx ADD 语句，拦截 ALTER xxx CHANGE/MODIFY/DROP 语句，拦截提示信息：Unsupported operation 'xxx' for the cipher column"

  • 技术实现

所有对加密表的 Alter 语句都需要通过 EncryptAlterTableTokenGenerator 改写生成实际执行语句，当前逻辑会对 密文列/明文列 生成语句

实现拦截需要在生成 Token 前增加判断，如果对 加密列/明文列 的操作则抛出异常

ShardingSpherePreconditions.checkState(!encryptTable.isEncryptColumn(columnName) && !encryptTable.isPlainColumn(columnName),
        () -> new UnsupportedOperationException("Unsupported operation 'modify' for the cipher column and plain column"));

03  衍生列格式和长度固定 varchar 4000

  • 背景说明

在加密场景下，现有算法生成的密文均为字符串，但用户的逻辑列可能是数字或时间等类型，会导致生成的衍生列数据类型与逻辑列一致，即密文列、辅助查询列、模糊查询列的 data type 可能是 int、datetime 等类型，导致密文无法写入。需要为加密衍生列设置默认的文本类型

  • 技术实现

生成的密文列、辅助查询列、模糊查询列均使用默认数据类型 VARCHAR(4000)

04  Proxy 连接池适配（druid、dbcp、c3p0）

  • 背景说明

当前全局默认使用 Hikari 连接池，用户不能自行选择、更换连接池

a2cc328bf6f4384e1786c5eadc39efaa.png

  • 技术实现

1、ConnectionConfiguration 类新增字段 dataSourceClassName

public final class ConnectionConfiguration {
    
    private final String dataSourceClassName;
    
    private final String url;
    
    private final String username;
    
    private final String password;
}

2、构建 DataSourceProperties 由固定 com.zaxxer.hikari.HikariDataSource 修改为获取 dataSourceClassName

public static DataSourceProperties create(final DataSourceConfiguration dataSourceConfig) {
    return new DataSourceProperties(dataSourceConfig.getConnection().getDataSourceClassName(), createProperties(dataSourceConfig));
}

3、实现连接池的 DataSourcePoolMetaData SPI，当前 Hikari、DBCP、C3P0 已实现

4、实现连接池 DataSourcePoolFieldMetaData、DataSourcePoolPropertiesValidator、DataSourcePoolActiveDetector

2aa8cd4f54da3b73a31c618864f6017a.jpeg

更新日志

ShardingSphere

01  新功能

  1. Proxy 连接池适配（druid、dbcp、c3p0）

  2. Metadata: 单机模式适配新版本元数据

02  功能增强

  1. Mode: 优化 Standalone 模式 JDBC 类型初始化数据重置

  2. Scaling: 隔离分片数据源 Standalone 模式的存储，相互不影响

  3. Scaling: 禁用 system-schema-metadata-enabled 提升性能

  4. JDBC: 把 ShardingSphereDriver 注册为 JDBC java.sql.Driver SPI，便于用户使用

  5. Scaling: SHOW MIGRATION CHECK ALGORITHMS 新增校验算法列

  6. Scaling: SHOW MIGRATION CHECK ALGORITHMS 新增 type_aliases 列

  7. 加密：除了密文列外不能与逻辑列重名，增加加密规则时遇到重名时应报错

  8. 加密：Proxy 禁止密文列 DDL

  9. 加密：衍生列格式和长度固定 varchar 4000

03  问题修复

  1. Scaling: 修复问题：存在相似表名的情况下断点续传可能获取到错误的全量任务进度

  2. Scaling: 修复问题：当首个全量任务完成的时候全量断点续传无法开启（CDC Importer 没有启动）

  3. Single Table: 修复 CREATE/DROP table 修改 Single 规则时未切换版本问题

  4. JDBC: 修复上一版本中 MySQL JDBC 内存泄漏问题

d87cfc00292a580de108aa635ce9a35a.jpeg

相关链接

ShardingSphere

🔗 下载链接

https://shardingsphere.apache.org/document/current/cn/downloads/

🔗 更新日志

https://github.com/apache/shardingsphere/blob/master/RELEASE-NOTES.md

🔗 项目地址

https://shardingsphere.apache.org/

🔗 Cloud 子项目地址

https://github.com/apache/shardingsphere-on-cloud

edeb6e55329eebfbad25514eaa3883a2.jpeg

社区贡献

ShardingSphere

此次 Apache ShardingSphere 5.4.1 版本的发布，共有 47 位 Contributor 提交了  967 个 PR，非常感谢社区伙伴们的大力支持，也欢迎越来越多的开发者积极参与 Apache ShardingSphere 社区建设、在纯粹的技术氛围中，提升个人技能、收获自我成长。欢迎更多的开源技术爱好者加入 Apache ShardingSphere  官方交流群，携手全球技术伙伴共同成长，共建社区生态！

787f3c3e715eaf09d9b75f7cfcb3795b.jpeg

如何加入 ShardingSphere 社区成为贡献者？

  1. 社区答疑：积极在社区中进行答疑、分享技术、帮助群内的其他开源爱好者解决问题。

  2. 代码贡献：社区整理了简单且容易上手的任务，非常适合新人做代码贡献。可以查阅新手任务列表：

    https://github.com/apache/shardingsphere/issues?q=is%3Aopen+is%3Aissue+label%3A%22good+first+issue%22%2Cdiscussion+no%3Aassignee

  3. 内容贡献：发布 ShardingSphere 相关的内容，比如安装部署教程、使用经验、案例实践等，形式不限，欢迎扫码投稿给社区助手。

  4. 社区布道：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等。

  5. 官方文档贡献：发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交 PR 和真正参与到社区的建设。

48e64a0744ea9940d46393be01ea1c1b.jpeg

长按识别回复“志愿者”了解更多吧~

关于 Apache ShardingSphere

Apache ShardingSphere 是一款分布式 SQL 事务和查询引擎，可通过数据分片、弹性伸缩、加密等能力对任意数据库进行增强。

点击阅读原文下载体验吧~

ShardingSphere
关注
ShardingSphere 5.x 系列【20】 数据加密
记录知识、锤炼自我
03-01 370
安全控制一直是治理的重要环节，数据加密属于安全控制的范畴。无论对互联网公司还是传统行业来说，数据安全一直是极为重视和敏感的话题。数据加密是指对某些敏感信息通过加密规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照相关部门规定，都需要进行数据加密。安全部门规定需将涉及用户敏感信息，例如银行、手机号码等进行加密后存储到数据库，在使用的时候再进行解密处理。
Shardingsphere新版本（5.5.1）实践
thekenofDIS的专栏
05-19 1451
这里还用到了多数据源，db0是读写分离的数据源，db1是另一个数据源，不做读写分离，注意这里，上面注释掉的是读取环境变量的写法，需要url参数里指定placeholder-type=environment，而下面是我们通过SPI扩展的方式，所以读取的方式从classpath变成了kms，这个kms是我们自己定义的，也可以改成其他的。其他三方工具版本升级，一般就是增加些配置，新添些功能，而Shardingsphere的升级，配置文件的配置方法改动很大，导致很多在网上查的资料，对于新版本已经完全不适用了。
springboot3.2.3集成shardingsphere5.4.1及动态数据源
robotABC的博客
04-15 1704
说明1：上次记录了升级中踩坑的点，但是关于shardingsphere5.4.1版本适配的问题没有详细说明，此处提供demo项目（同时集成了集成了动态数据源）供后续参考（按照官方推荐的改动进行修改了，将会在官方的5.5.0版本包含改代码）。shardingsphere的个人不建议作为主数据源，主要原始是对sql的适配问题，即部分sql是不支持的。免费下载地址：https://download.csdn.net/download/robotABC/89125097。
shardingsphere连接mySQL胎教级教程
C137DAWN的博客
12-13 3958
可能是最直白最简单最详细的shardingsphere连接mysql教程
【经验总结】ShardingSphere5.2.1 + Springboot 分库分表 快速开始
最新发布
2509_92390300的博客
10-28 805
Apache ShardingSphere （本文后续简称“SS”）是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。ShardingSphere-JDBC 定位为。
springboot2.7.3升级到springboot3.2.3踩坑指北
robotABC的博客
04-01 2958
springboot从2.7.3升级最新版本3.2.3
分享一次 ShardingJDBC 亿级数据分表真实经验
lingqu＋wx bjmsb06
01-04 1195
从入职以来写了一年的业务代码，突然接到来自领导的技术需求，说要给我们的借款、还款申请单分表。查看了一下借款表，只有几千万数据，再看还款表已经两亿多了，为了提高数据查询效率，降低数据库的压力。确实可以考虑分表了。另外......这是入职一年以来第一个非业务需求！回想在进公司之前，面试的时候经常会有问到分库分表的面试官，问的完全不知道怎么回答。因为没有过实际的经验，那时候总感觉分库分表是个很难很难，很高大上的东西。
ShardingSphere jdbc5.4.1 规则零散记录
qq_37721238的博客
05-06 738
此帖子是引入shardingSphere jdbc 后各种场景验证的时候发现的一些规则，记录下，没有做整理和专项，大家改造过程中如果对可能有哪些坑不太清楚可以作为参考。
ShardingSphere-Proxy分表分库、读写分离基本使用（v5.4.1版本）
04-11 4304
基于目前最新版的ShardingSphere-Proxy（v5.4.1），网上找到文章大多基于老版本的，最近自己研究了下新版本，把最常用的读写分离、分库分表功能整理了下，分享给大家。
shardingsphere 5.4.1
06-30
Apache ShardingSphere 在 5.4.1 版本中对数据加密功能进行了升级，提供了更高级别的数据保护能力。该版本历时两个多月开发，累计合并了来自全球团队和个人的 **967 个 PR**，在功能、性能、测试、文档和示例等方面...
【ShardingSphere专题】SpringBoot整合ShardingSphere（一、数据分片入门及实验）
qq_32681589的博客
11-28 5195
最近线上的项目部分数据表增量速度比较快，可以预见的是，个把月后数据量会急剧增长至千万级，所以只是简单的使用索引等已经无法满足业务需求了，分库分表势在必行！于是着手研究如何整合ShardingSphere到现有项目中，顺带记录一下实验过程吧。特别声明：这边是实验配置阶段，还没有完成整合到项目、以及测试联调阶段，所以不敢保证实验过程是否正确。而且，在我的业务中，还涉及到【普通单表】与【分片表】之间的联表查询，所以需要后期比较严谨的测试才能知道最终效果。不过我自己对比了站内其他大佬的教程，大体是没问题的。
springboot整合ShardingSphere5.2.1（最新版）
09-14
springboot整合ShardingSphere5.2.1（最新版）
使用ShardingSphere实现分布式数据库
AsterCass的博客
07-08 1321
当我们在聊如何加快从数据库获取数据的效率时，可能会谈及如果数据库的查询缓慢并不是由于语句、索引、设计或者服务调用导致，单纯是数据表中数据过多影响的解决方案，一般我们会认为如果数据文件超过2G或者表中数据超过500万条的情况下，我们使用常规手段对于获取数据的效率提升已经不会很明显了，此时分库分表就是一个相对来说非常值得考虑的选择在数据量足够大的情况下，访问量一般也不会小，所以不仅仅是分库分表，我们还需要构建数据库集群，解决单库的连接查询压力。
Sharding-JDBC 系列专题 - 第七篇：Spring Boot 集成与 Sharding-Proxy 简介
资深架构师分享：深入剖析软件架构，探讨云计算、微服务、大数据等前沿技术。分享实践经验，促进技术交流，共同构建卓越系统。
04-22 1010
是 Apache ShardingSphere 生态中的另一个组件，与 Sharding-JDBC 不同，它是一个独立的服务端中间件，充当数据库代理，适合多语言环境或需要集中管理分片逻辑的场景。本篇详细介绍了 Sharding-JDBC 与 Spring Boot 的集成方法，通过 YAML 配置和代码示例展示了分库分表、读写分离和广播表的实现。同时，介绍了 Sharding-Proxy 的基本概念、部署方法和适用场景，为多语言或集中管理场景提供了替代方案。
Apache ShardingSphere 5.4.0 最新版本全知道！
我的博客
07-18 3100
Apache ShardingSphere在2023年7月初迎来了 5.4.0 版本的发布，该版本历时两个月，共合并了来自全球的团队和个人累计 1271 个 PR，新版本在功能、性能、测试、文档、示例等方面都进行了大量的优化。本次更新包含了不少能够提升用户体验、解决用户痛点的内容，本文与大家一起快速预览： 广播表调整为全局表 CDC 功能完善 Single table 元数据加载逻辑优化
shardingsphere5.4.1 适配人大金仓 Kingbase 8.6.0
lgbisha的博客
03-21 1775
通过上述调整，我们成功使 ShardingSphere 5.4.1 版本适配了 Kingbase 8.6.0，完整支持数据分片功能。先调研已有解决方案，如果适用，优先复用已有实现。版本升级后，内部机制可能发生较大变化，需要结合源码深入分析。合理利用 SPI 机制进行扩展，确保自定义插件能够正确加载。数据库 SQL 兼容性是关键问题，在适配时需充分参考 PostgreSQL 的实现方式。本次适配的经验可为其他国产数据库适配 ShardingSphere 提供一定借鉴。
ShardingSphere集成Mybatis Plus使用ShardingSphere最新版本5.1.2
TaylorSwiftRed的博客
05-14 5159
ShardingSphere集成Mybatis Plus最新版本
ShardingSphere5.x新版本特性
Zhuxiaoyu_91的博客
12-11 1942
ShardingSphere5.x新版本特性
sharding-sphere 数据加密（附源码）
u010518364的博客
05-15 2922
name字段使用AES加密是可逆的，password使用md5摘要不可逆。目前版本已经实现MD5、SM3、SM4、AES、RC4算法，开箱即用。但是遇到某些特定场景，我们需要自己定义加密算法。
SpringBoot3.2.3与ShardingSphere5.4.1动态数据源集成实践
资源摘要信息:"SpringBoot 3.2.3集成ShardingSphere 5.4.1及动态数据源Demo项目是一个展示如何在最新版本的SpringBoot环境中集成Apache ShardingSphere（分片求值器）5.4.1版本的示例项目。ShardingSphere是一个为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值