敏感词过滤工具：sensitive-word 使用教程

最新推荐文章于 2024-09-15 20:52:49 发布

诸锬泽Jemima

最新推荐文章于 2024-09-15 20:52:49 发布

阅读量1.5k

点赞数 16

本文链接：https://blog.youkuaiyun.com/gitblog_01080/article/details/141014716

版权

敏感词过滤工具：sensitive-word 使用教程

sensitive-word 👮‍♂️The sensitive word tool for java.(敏感词/违禁词/违法词/脏词。基于 DFA 算法实现的高性能 java 敏感词过滤工具框架。请勿发布涉及政治、广告、营销、翻墙、违反国家法律法规等内容。高性能敏感词检测过滤组件，附带繁体简体互换，支持全角半角互换，汉字转拼音，模糊搜索等功能。)项目地址:https://gitcode.com/gh_mirrors/se/sensitive-word

项目介绍

sensitive-word 是一个基于 DFA 算法实现的高性能 Java 敏感词过滤工具。它支持敏感词的判断、返回、脱敏等常见操作，并且具有以下特点：

6W+ 词库，且不断优化更新。
基于 DFA 算法，性能较好。
基于 fluent-api 实现，使用优雅简洁。
支持全角半角互换、英文大小写互换。

项目快速启动

1. 引入依赖

在 Maven 项目中，添加以下依赖：

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-word</artifactId>
    <version>0.2.0</version>
</dependency>

2. 基本使用

以下是一个简单的使用示例：

import com.github.houbb.sensitive.word.api.IWordResultHandler;
import com.github.houbb.sensitive.word.bs.SensitiveWordBs;

public class SensitiveWordExample {
    public static void main(String[] args) {
        String text = "这是一个包含敏感词的测试文本，比如包含色情、赌博等词汇。";

        // 判断是否包含敏感词
        boolean contains = SensitiveWordBs.newInstance().contains(text);
        System.out.println("是否包含敏感词: " + contains);

        // 返回所有敏感词
        List<String> allWords = SensitiveWordBs.newInstance().findAll(text);
        System.out.println("所有敏感词: " + allWords);

        // 返回第一个敏感词
        String firstWord = SensitiveWordBs.newInstance().findFirst(text);
        System.out.println("第一个敏感词: " + firstWord);

        // 脱敏处理
        String desensitizedText = SensitiveWordBs.newInstance().replace(text, '*');
        System.out.println("脱敏后的文本: " + desensitizedText);
    }
}

应用案例和最佳实践

1. 社交平台敏感词过滤

在社交平台中，用户可以自由发言，因此需要对用户发布的内容进行敏感词过滤。以下是一个简单的实现示例：

public class SocialMediaFilter {
    private static final SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance();

    public static String filter(String content) {
        return sensitiveWordBs.replace(content, '*');
    }

    public static void main(String[] args) {
        String userPost = "这是一个包含敏感词的帖子，比如包含色情、赌博等词汇。";
        String filteredPost = filter(userPost);
        System.out.println("过滤后的帖子内容: " + filteredPost);
    }
}

2. 论坛评论过滤

在论坛中，用户可以发表评论，因此需要对评论内容进行敏感词过滤。以下是一个简单的实现示例：

public class ForumCommentFilter {
    private static final SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance();

    public static String filter(String comment) {
        return sensitiveWordBs.replace(comment, '*');
    }

    public static void main(String[] args) {
        String userComment = "这是一个包含敏感词的评论，比如包含色情、赌博等词汇。";
        String filteredComment = filter(userComment);
        System.out.println("过滤后的评论内容: " + filteredComment);
    }
}