sensitive 高性能日志脱敏框架,支持注解和日志插件模式

项目介绍

日志脱敏是常见的安全需求。普通的基于工具类方法的方式,对代码的入侵性太强,编写起来又特别麻烦。

sensitive 项目提供基于注解的方式,并且内置了常见的脱敏方式,便于开发。

支持 logback 和 log4j2 等常见的日志脱敏插件。

日志插件解决正则匹配长文本可能出现的回溯问题,性能远超正则

日志脱敏

为了金融交易的安全性,国家强制规定对于以下信息是要日志脱敏的:

  1. 用户名

  2. 手机号

  3. 邮箱

  4. 银行卡号

  5. 密码

  6. 身份证号

持久化加密

存储的时候上面的信息都需要加密,密码为不可逆加密,其他为可逆加密。

类似的功能有很多。不在本系统的解决范围内。

特性

  1. 基于注解的日志脱敏。

  2. 可以自定义策略实现,策略生效条件。

  3. 内置常见的十几种脱敏内置方案。

  4. java 深拷贝,且原始对象不用实现任何接口。

5. 支持用户自定义注解。

6. 支持基于 FastJSON 直接生成脱敏后的 json

7. 支持自定义哈希策略,更加方便定位日志问题

8. 支持基于 log4j2 的统一脱敏策略

9. 支持基于 logback 的统一脱敏策略

变更日志

变更日志

v-1.6.0 新特性

  • 添加 logback 脱敏插件

拓展阅读

金融用户敏感数据如何优雅地实现脱敏?

日志脱敏之后,无法根据信息快速定位怎么办?

快速开始

环境准备

JDK 1.8+

Maven 3.x

maven 导入

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-core</artifactId>
    <version>1.7.0</version>
</dependency>

核心 api 简介

SensitiveUtil 工具类的核心方法列表如下:

序号方法参数结果说明
1desCopy()目标对象深度拷贝脱敏对象适应性更强
2desJson()目标对象脱敏对象 json性能较好
3desCopyCollection()目标对象集合深度拷贝脱敏对象集合
4desJsonCollection()目标对象集合脱敏对象 json 集合

定义对象

  • UserAnnotationBean.java

通过注解,指定每一个字段的脱敏策略。

public class UserAnnotationBean {

    @SensitiveStrategyChineseName
    private String username;

    @SensitiveStrategyPassword
    private String password;

    @SensitiveStrategyPassport
    private String passport;

    @SensitiveStrategyIdNo
    private String idNo;

    @SensitiveStrategyCardId
    private String bandCardId;

    @SensitiveStrategyPhone
    private String phone;

    @SensitiveStrategyEmail
    private String email;

    @SensitiveStrategyAddress
    private String address;

    @SensitiveStrategyBirthday
    private String birthday;

    @SensitiveStrategyGps
    private String gps;

    @SensitiveStrategyIp
    private String ip;

    @SensitiveStrategyMaskAll
    private String maskAll;

    @SensitiveStrategyMaskHalf
    private String maskHalf;

    @SensitiveStrategyMaskRange
    private String maskRange;

    //Getter & Setter
    //toString()
}
  • 数据准备

构建一个最简单的测试对象:

UserAnnotationBean bean  = new UserAnnotationBean();
bean.setUsername("张三");
bean.setPassword("123456");
bean.setPassport("CN1234567");
bean.setPhone("13066668888");
bean.setAddress("中国上海市浦东新区外滩18号");
bean.setEmail("whatanice@code.com");
bean.setBirthday("20220831");
bean.setGps("66.888888");
bean.setIp("127.0.0.1");
bean.setMaskAll("可恶啊我会被全部掩盖");
bean.setMaskHalf("还好我只会被掩盖一半");
bean.setMaskRange("我比较灵活指定掩盖范围");
bean.setBandCardId("666123456789066");
bean.setIdNo("360123202306018888");
  • 测试代码
final String originalStr = "UserAnnotationBean{username='张三', password='123456', passport='CN1234567', idNo='360123202306018888', bandCardId='666123456789066', phone='13066668888', email='whatanice@code.com', address='中国上海市浦东新区外滩18号', birthday='20220831', gps='66.888888', ip='127.0.0.1', maskAll='可恶啊我会被全部掩盖', maskHalf='还好我只会被掩盖一半', maskRange='我比较灵活指定掩盖范围'}";
final String sensitiveStr = "UserAnnotationBean{username='张*', password='null', passport='CN*****67', idNo='3****************8', bandCardId='666123*******66', phone='1306****888', email='wh************.com', address='中国上海********8号', birthday='20*****1', gps='66*****88', ip='127***0.1', maskAll='**********', maskHalf='还好我只会*****', maskRange='我*********围'}";
final String expectSensitiveJson = "{\"address\":\"中国上海********8号\",\"bandCardId\":\"666123*******66\",\"birthday\":\"20*****1\",\"email\":\"wh************.com\",\"gps\":\"66*****88\",\"idNo\":\"3****************8\",\"ip\":\"127***0.1\",\"maskAll\":\"**********\",\"maskHalf\":\"还好我只会*****\",\"maskRange\":\"我*********围\",\"passport\":\"CN*****67\",\"phone\":\"1306****888\",\"username\":\"张*\"}";

UserAnnotationBean sensitiveUser = SensitiveUtil.desCopy(bean);
Assert.assertEquals(sensitiveStr, sensitiveUser.toString());
Assert.assertEquals(originalStr, bean.toString());

String sensitiveJson = SensitiveUtil.desJson(bean);
Assert.assertEquals(expectSensitiveJson, sensitiveJson);

我们可以直接利用 sensitiveUser 去打印日志信息,而这个对象对于代码其他流程不影响,我们依然可以使用原来的 user 对象。

当然,也可以使用 sensitiveJson 打印日志信息。

@Sensitive 注解

说明

@SensitiveStrategyChineseName 这种注解是为了便于用户使用,本质上等价于 @Sensitive(strategy = StrategyChineseName.class)

@Sensitive 注解可以指定对应的脱敏策略。

内置注解与映射

编号注解等价 @Sensitive备注
1@SensitiveStrategyChineseName@Sensitive(strategy = StrategyChineseName.class)中文名称脱敏
2@SensitiveStrategyPassword@Sensitive(strategy = StrategyPassword.class)密码脱敏
3@SensitiveStrategyEmail@Sensitive(strategy = StrategyEmail.class)email 脱敏
4@SensitiveStrategyCardId@Sensitive(strategy = StrategyCardId.class)卡号脱敏
5@SensitiveStrategyPhone@Sensitive(strategy = StrategyPhone.class)手机号脱敏
6@SensitiveStrategyIdNo@Sensitive(strategy = StrategyIdNo.class)身份证脱敏
6@SensitiveStrategyAddress@Sensitive(strategy = StrategyAddress.class)地址脱敏
7@SensitiveStrategyGps@Sensitive(strategy = StrategyGps.class)GPS 脱敏
8@SensitiveStrategyIp@Sensitive(strategy = StrategyIp.class)IP 脱敏
9@SensitiveStrategyBirthday@Sensitive(strategy = StrategyBirthday.class)生日脱敏
10@SensitiveStrategyPassport@Sensitive(strategy = StrategyPassport.class)护照脱敏
11@SensitiveStrategyMaskAll@Sensitive(strategy = StrategyMaskAll.class)全部脱敏
12@SensitiveStrategyMaskHalf@Sensitive(strategy = StrategyMaskHalf.class)一半脱敏
13@SensitiveStrategyMaskRange@Sensitive(strategy = StrategyMaskRange.class)指定范围脱敏

@Sensitive 定义

@Inherited
@Documented
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
public @interface Sensitive {

    /**
     * 注解生效的条件
     * @return 条件对应的实现类
     */
    Class<? extends ICondition> condition() default ConditionAlwaysTrue.class;

    /**
     * 执行的策略
     * @return 策略对应的类型
     */
    Class<? extends IStrategy> strategy();

}

与 @Sensitive 混合使用

如果你将新增的注解 @SensitiveStrategyChineseName@Sensitive 同时在一个字段上使用。

为了简化逻辑,优先选择执行 @Sensitive,如果 @Sensitive 执行脱敏,
那么 @SensitiveStrategyChineseName 将不会生效。

如:

/**
 * 测试字段
 * 1.当多种注解混合的时候,为了简化逻辑,优先选择 @Sensitive 注解。
 */
@SensitiveStrategyChineseName
@Sensitive(strategy = StrategyPassword.class)
private String testField;

log4j2 插件统一脱敏

说明

上面的方法非常适用于新的项目,按照响应的规范进行推广。

但是很多金融公司都有很多历史遗留项目,或者使用不规范,比如使用 map 等,导致上面的方法在脱敏技改时需要耗费大量的时间,而且回溯成本很高。

有没有什么方法,可以直接在日志层统一处理呢?

log4j2 Rewrite

我们可以基于 log4j2 RewritePolicy 统一使用脱敏策略。

说明:如果使用 slf4j 接口,实现为 log4j2 时也是支持的。

使用入门

maven 引入

引入核心脱敏包。

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-log4j2</artifactId>
    <version>1.7.0</version>
</dependency>

其他的一般项目中也有,如 log4j2 包:

<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-api</artifactId>
    <version>${log4j2.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>${log4j2.version}</version>
</dependency>

log4j2.xml 配置

例子如下:

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" packages = "com.github.houbb.sensitive.log4j2.layout">

    <Properties>
        <Property name="DEFAULT_PATTERN">%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n</Property>
        <Property name="DEFAULT_CHARSET">UTF-8</Property>
    </Properties>

    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
            <SensitivePatternLayout/>
        </Console>
    </Appenders>

    <Loggers>
        <Root level="DEBUG">
            <AppenderRef ref="Console"/>
        </Root>
    </Loggers>

</Configuration>

几个步骤:

  1. 指定 package 为 packages = "com.github.houbb.sensitive.log4j2.layout"

  2. 按照 log4j2 layout 规范,指定 Layout 策略为 SensitivePatternLayout

测试

正常的日志打印:

private static final String TEST_LOG = "mobile:13088887777; bankCard:6217004470007335024, email:mahuateng@qq.com, amount:123.00, " +
        "IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬" +
        ", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐汇区888号;";

logger.info(TEST_LOG);

自动脱敏效果如下:

01:37:28.010 [main] INFO  com.github.houbb.sensitive.test.log4j2.Log4j2AndSlf4jLayoutTest - mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬, birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐******|821A601949B1BD18DCBAAE27F2E27147;

ps: 这里是为了演示各种效果,实际默认对应为 1,2,3,4,9 这几种策略。

log4j2 配置定制化

为了满足各种用户的场景,在 V1.6.0 引入了 SensitivePatternLayout 策略的可配置化。

用户可以在应用 resources 下通过 chars-scan-config.properties 配置文件指定。

默认配置

log4j2 配置中,SensitivePatternLayout 配置默认为:

chars.scan.prefix=::,,'"‘“=| +()()
chars.scan.scanList=1,2,3,4,9
chars.scan.replaceList=1,2,3,4,9
chars.scan.defaultReplace=12
chars.scan.replaceHash=md5
chars.scan.whiteList=""

属性说明

SensitivePatternLayout 策略的属性说明。

属性说明默认值备注
prefix需要脱敏信息的匹配前缀::,,'"‘“= +()() 和英文竖线降低误判率
replaceHash哈希策略模式md5支持 md5/none 两种模式
scanList敏感扫描策略列表1,2,3,41~10 内置的10种敏感信息扫描策略,多个用逗号隔开
replaceList敏感替换策略列表1,2,3,41~10 内置的10种敏感信息替换策略,多个用逗号隔开
defaultReplace敏感替换默认策略121~13 内置的13种敏感信息替换策略,指定一个。当列表没有匹配时,默认使用这个
whiteList白名单``希望跳过处理的白名单信息

其中 1-13 的内置策略说明如下:

策略标识说明
1手机号
2身份证
3银行卡
4邮箱
5中国人名
6出生日期
7GPS
8IPV4
9地址
10护照
11匹配任意不掩盖
12匹配任意半掩盖
13匹配任意全掩盖
m1数字类合并操作(m1:1&2&3) 性能更好
m3拓展类合并操作(m3:4&5&9) 性能更好

不足之处

这里的策略自定义和 log4j2 的插件化比起来,确实算不上强大,但是可以满足 99% 的脱敏场景。

后续有时间考虑类似 log4j2 的 plugins 思想,实现更加灵活的自定义策略。

logback 脱敏插件

说明

为了便于用户使用,v1.6.0 开始支持 logback 插件模式。

使用入门

maven 引入

引入核心脱敏包。

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-logback</artifactId>
    <version>1.7.0</version>
</dependency>

引入 logback 依赖包

<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-classic</artifactId>
    <version>${logback.version}</version>
</dependency>

指定 logback.xml 配置

<configuration>
    <!-- 基于 converter -->
    <conversionRule conversionWord="sensitive" converterClass="com.github.houbb.sensitive.logback.converter.SensitiveLogbackConverter" />
    <!-- 使用 converter -->
    <appender name="STDOUTConverter" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %sensitive%n</pattern>
        </encoder>
    </appender>

    <!-- 使用 layout -->
    <appender name="STDOUTLayout" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="com.github.houbb.sensitive.logback.layout.SensitiveLogbackLayout">
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </layout>
    </appender>

    <!-- 设置根日志级别为DEBUG,并将日志输出到控制台 -->
    <root level="DEBUG">
        <appender-ref ref="STDOUTConverter"/>
        <appender-ref ref="STDOUTLayout"/>
    </root>
</configuration>

这里共计支持 Converter 和 Layout 两种模式,任选一个即可。

建议使用 SensitiveLogbackConverter,脱敏日志内容。

日志效果

脱密效果和 log4j2 类似,如下:

01:42:32.579 [main] INFO  c.g.h.sensitive.test2.LogbackMain - mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, " + "IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬" + ", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐******|821A601949B1BD18DCBAAE27F2E27147;

配置属性

同 log4j2,此处不再赘述。

性能耗时

注解

100W 次耗时统计

方法耗时(ms)说明
原始工具类方法122性能最好,但是最麻烦。拓展性最差
JSON.toJSONString(user)304性能较好,拓展性不错。缺点是强依赖 fastjson
SensitiveUtil.desJson(user)1541性能较差,拓展性最好,比较灵活

参考资料

https://github.com/houbb/sensitive/blob/master/README.md

<think>好的,我现在需要帮助用户寻找适用于Spring Boot的日志脱敏插件。首先,用户的问题是关于处理敏感信息日志插件推荐,所以我得先理解他们的需求。他们可能在开发Spring Boot应用时,遇到了日志中包含敏感数据的问题,比如密码、身份证号等,需要找到合适的插件来自动脱敏这些信息,避免泄露。 接下来,我要回忆一下常见的Spring Boot日志处理方案。根据用户提供的引用内容,特别是引用[1]到[4],里面提到了Spring Boot的日志配置、使用lombok简化日志输出,以及插件化开发的内容。不过这些引用并没有直接提到日志脱敏插件,所以可能需要结合外部知识。 首先,我应该考虑是否有现成的开源插件或库可以实现日志脱敏。比如,我知道LogbackLog4j2支持自定义过滤器或布局,可以通过编写自定义的PatternLayout来脱敏敏感信息。另外,有没有专门的Spring Boot Starter或者插件可以简化这个过程呢? 然后,用户可能需要具体的推荐,所以得列举几个可能的选项。比如: 1. **logback-logmask**:这是一个开源的Logback扩展,允许通过配置正则表达式来屏蔽敏感数据。它可能适合用户的需求,因为可以直接集成到现有的Logback配置中,不需要大量代码改动。 2. **Sensitive-Log**:另一个针对Java日志脱敏的工具,支持自定义脱敏规则,比如替换关键字或正则匹配。需要确认是否支持Spring Boot,可能需要通过配置实现。 3. **自定义实现**:如果现有工具不够灵活,可能需要指导用户如何自己实现,比如通过AOP拦截日志输出,或者在日志记录前处理消息。引用[2]中提到Spring Boot动态插件热加载,可能涉及到自定义类加载器注册Bean,这可能对实现自定义脱敏逻辑有帮助。 另外,引用[3][4]提到Spring Boot的日志配置,比如设置日志级别持久化,这可能与脱敏处理结合使用。例如,在配置文件中指定脱敏规则,或者在日志持久化前进行脱敏处理。 需要验证这些插件的兼容性维护状态。比如,logback-logmask是否还在维护,是否有社区支持。同时,用户可能需要知道如何集成这些插件到他们的项目中,比如添加依赖、配置示例等。 另外,可能还要提到使用注解的方式,比如通过自定义注解标记需要脱敏的字段,结合AOP在日志记录时处理。引用[4]中提到的lombok简化日志输出,可能可以结合自定义的日志方法来实现脱敏。 最后,是否需要考虑性能影响?比如,正则表达式匹配可能会影响日志输出的速度,特别是在高负载情况下。所以,推荐的插件应该有高效的匹配机制,或者提供缓存优化。 总结下来,我需要推荐几个具体的库或方法,说明它们的特点、集成步骤,并提醒可能的注意事项,比如自定义规则的需求或性能考量。同时,引用相关的站内内容来支持建议,比如提到如何配置日志级别或使用lombok,但可能直接引用有限,需要结合外部知识。</think>在Spring Boot中处理日志脱敏可通过以下方案实现: ### 一、现成插件/库推荐 1. **logback-logmask**[^1] - 特点:基于Logback的扩展,通过正则表达式匹配敏感字段(如信用卡号、手机号),自动替换为掩码。 - 集成步骤: 1. 添加依赖: ```xml <dependency> <groupId>com.github.wnameless</groupId> <artifactId>logback-logmask</artifactId> <version>1.2.0</version> </dependency> ``` 2. 配置`logback-spring.xml`,添加脱敏规则: ```xml <configuration> <conversionRule conversionWord="maskMsg" converterClass="org.wnameless.logmask.LogMaskConverter"/> <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"> <encoder> <pattern>%d{HH:mm:ss} [%thread] %maskMsg(%msg) %n</pattern> </encoder> </appender> </configuration> ``` 2. **sensitive-log4j2**[^2] - 特点:支持Log4j2脱敏插件,提供预定义规则(如邮箱、身份证号),支持自定义正则匹配。 - 集成步骤: 1. 添加依赖: ```xml <dependency> <groupId>com.github.yuyenews</groupId> <artifactId>sensitive-log4j2</artifactId> <version>1.0.3</version> </dependency> ``` 2. 配置`log4j2.xml`,启用脱敏过滤器: ```xml <Configuration> <Appenders> <Console name="Console"> <PatternLayout pattern="%d %-5p %m%n"/> <SensitiveFilter regex="(\d{3})\d{4}(\d{4})" replacement="$1****$2"/> </Console> </Appenders> </Configuration> ``` --- ### 二、自定义实现方案 #### 方法1:AOP拦截日志输出 通过切面拦截日志方法调用,处理敏感参数: ```java @Aspect @Component public class LogDesensitizationAspect { @Around("execution(* org.slf4j.Logger.*(..))") public Object maskSensitiveData(ProceedingJoinPoint joinPoint) throws Throwable { Object[] args = Arrays.stream(joinPoint.getArgs()) .map(arg -> arg instanceof String ? mask((String) arg) : arg) .toArray(); return joinPoint.proceed(args); } private String mask(String message) { return message.replaceAll("(\"password\":\")(.*?)(\")", "$1****$3"); } } ``` #### 方法2:扩展Logback Layout 自定义`MessageConverter`实现脱敏逻辑: ```java public class MaskingLayout extends PatternLayout { @Override public String doLayout(ILoggingEvent event) { return super.doLayout(event) .replaceAll("(\"phone\":\")(\\d{3})\\d{4}(\\d{4})", "$1$2****$3"); } } ``` 在`logback-spring.xml`中配置: ```xml <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder"> <layout class="com.example.MaskingLayout"> <pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n</pattern> </layout> </encoder> ``` --- ### 三、注意事项 1. **性能影响**:正则表达式复杂度需优化,避免高频日志场景下的性能瓶颈。 2. **规则维护**:建议将脱敏规则提取至外部配置文件(如YAML),便于动态更新[^3]。 3. **兼容性**:确认插件版本与Spring Boot及日志框架Logback/Log4j2)的兼容性。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值