springboot 敏感词判定注解

目录

效果展示:

实现原理

jar包导入:

上代码


场景:用户评论的时候 会让他输入文字 这个时候 就要敏感词判定一下

效果展示:

 

swagger展示

  

实现原理

hutool工具包实现

cn.hutool.dfa

Class SensitiveUtil

  • init

    public static void init(Collection<String> sensitiveWords)

    初始化敏感词树

    Parameters:

    sensitiveWords - 敏感词列表

  • containsSensitive

    public static boolean containsSensitive(Object obj)

    是否包含敏感词

    Parameters:

    obj - bean,会被转为JSON字符串

    Returns:

    是否包含

会用到以上俩个方法

jar包导入:

要最新的自己去找就可以了

<!--hutool工具类        -->
<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.7.6</version>
</dependency>

  <!--参数校验        -->
        <dependency>
            <groupId>org.hibernate</groupId>
            <artifactId>hibernate-validator</artifactId>
            <version>6.0.1.Final</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish</groupId>
            <artifactId>jakarta.el</artifactId>
            <version>3.0.3</version>
        </dependency> 

上代码

第一步:初始化敏感词

可以以读取文件的形式

/**
 * @Description 敏感词初始化加载
 * @Author 小乌龟
 * @Date 2022/5/21 14:20
 */
@Configuration
@Slf4j
public class SensitiveWordConfig implements InitializingBean {
    @Autowired
    private WebAppDataProperties webAppDataProperties;

    @Override
    public void afterPropertiesSet(){
    //自己对应的文件路径 存放地址
        File file = FileUtil.file(webAppDataProperties.getMappingLocation()+"sensitiveWord.txt");
        FileReader reader = new FileReader(file);
        SensitiveUtil.init(reader.readLines());
        log.info("initialize bean:{}", SensitiveWordConfig.class.getName());
    }
}

温馨提示:

 

第二步:

注解:

IsSensitiveWord 

/**
 * @author 小乌龟 敏感词判定 string
 */
@Target({ElementType.METHOD, ElementType.FIELD, ElementType.ANNOTATION_TYPE, ElementType.CONSTRUCTOR, ElementType.PARAMETER})
@Retention(RetentionPolicy.RUNTIME)
@Documented
@NotBlank(message = "内容不可为空")
@Constraint(validatedBy = {IsSensitiveWordValidation.class})
public @interface IsSensitiveWord {
    String message() default "含有敏感词不可提交";

    Class<?>[] groups() default {};

    Class<? extends Payload>[] payload() default {};
}

 IsSensitiveWordValidation

/**
 * @Description 敏感词验证
 * @Author 小乌龟
 * @Date 2022/5/22 14:02
 */
public class IsSensitiveWordValidation implements ConstraintValidator<IsSensitiveWord, String> {
    @Override
    public void initialize(IsSensitiveWord constraintAnnotation) {
        ConstraintValidator.super.initialize(constraintAnnotation);
    }


    @Override
    public boolean isValid(String content, ConstraintValidatorContext constraintValidatorContext) {
        //hutool 敏感词查询 是否包含敏感词
        return !SensitiveUtil.containsSensitive(content);
    }
}

 

### Spring Boot敏感词过滤的配置与实现 在 Spring Boot 应用程序中,可以通过多种方式实现敏感词过滤功能。以下是几种常见的方法及其具体实现。 #### 方法一:基于正则表达式的简单实现 通过编写简单的 Java 正则表达式逻辑来匹配并替换敏感词。这种方式适合小型应用或需求不复杂的场景。 ```java import java.util.HashSet; import java.util.Set; public class SimpleSensitiveFilter { private Set<String> sensitiveWords = new HashSet<>(); public SimpleSensitiveFilter(Set<String> words) { this.sensitiveWords.addAll(words); } public String filter(String text) { if (text == null || text.isEmpty()) { return text; } for (String word : sensitiveWords) { text = text.replaceAll(word, "*".repeat(word.length())); } return text; } } ``` 此代码片段展示了如何定义一个 `SimpleSensitiveFilter` 类[^1],用于加载一组敏感词并将它们从输入字符串中移除或隐藏。 --- #### 方法二:集成 Redis 的高效实现 当敏感词列表较大时,可以利用 Redis 缓存存储敏感词以提高查询效率。这种方案适用于高并发环境下的大规模数据处理。 ##### 1. 配置 Redis 在项目的 `application.yml` 文件中添加 Redis 配置: ```yaml spring: redis: host: localhost port: 6379 database: 0 timeout: 10000 ``` 以上 YAML 片段说明了如何设置 Redis 连接参数[^2]。 ##### 2. 使用 Redis 存储敏感词敏感词保存到 Redis 列表或其他合适的数据结构中,并提供接口供应用程序访问这些词语。 ```java @Service public class SensitiveWordService { @Autowired private StringRedisTemplate redisTemplate; public void addSensitiveWord(String word) { redisTemplate.opsForSet().add("sensitive_words", word); } public boolean contains(String content) { List<String> words = redisTemplate.opsForSet().members("sensitive_words"); for (String word : words) { if (content.contains(word)) { return true; } } return false; } public String replace(String content) { List<String> words = redisTemplate.opsForSet().members("sensitive_words"); for (String word : words) { content = content.replace(word, "*".repeat(word.length())); } return content; } } ``` 该服务类实现了向 Redis 添加敏感词的功能以及检测和替换文本中的敏感词操作[^4]。 --- #### 方法三:AC 自动机算法优化性能 如果需要更高效的解决方案,则可采用 AC 自动机(Aho-Corasick Algorithm)。这是一种经典的多模式串匹配算法,在大量关键词的情况下表现尤为出色。 ##### 依赖引入 需先导入第三方库支持 AC 自动机构建,例如 Apache Commons Text 提供的相关工具包。 ```xml <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-text</artifactId> <version>1.10.0</version> </dependency> ``` ##### 实现代码 下面是一个使用 Apache Commons Text 构建 AC 自动机的例子: ```java import org.apache.commons.text.similarity.AhoCorasickDoubleArrayTrie; import java.util.Collections; import java.util.Map; public class AcSensitiveFilter { private final AhoCorasickDoubleArrayTrie<String> trie; public AcSensitiveFilter(Map<String, String> keywordsMap) { this.trie = new AhoCorasickDoubleArrayTrie<>(keywordsMap); } public String filter(String input) { StringBuilder sb = new StringBuilder(input); Map<Integer, String> resultMap = Collections.emptyMap(); trie.parseText(sb.toString(), (beginIndex, endIndex, value) -> { int index = beginIndex + value.length(); resultMap.put(index, value); }); for (Integer key : resultMap.keySet()) { String replacement = "*".repeat(resultMap.get(key).length()); sb.replace(key, key + resultMap.get(key).length(), replacement); } return sb.toString(); } } ``` 上述代码展示了一个基于 AC 自动机的高性能敏感词过滤器[^4]。 --- ### 测试案例 无论选用哪种方法,都需要设计单元测试验证其正确性和稳定性。以下是一组通用的 JUnit 测试用例模板: ```java @SpringBootTest class SensitiveFilterTest { @Autowired private SensitiveFilter sensitiveFilter; @Test void testFilter() { String original = "accfuckxx元bitch购物车bitchjwbc"; String filtered = sensitiveFilter.filter(original); assertEquals("acc****xx元****购物车****jwbc", filtered); } } ``` 这段测试脚本检查了给定字符串经过敏感词过滤后的预期结果是否一致。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

新生代农民工-小王八

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值