敏感词过滤算法

最新推荐文章于 2025-05-18 19:57:40 发布

零点-一条路走到底

最新推荐文章于 2025-05-18 19:57:40 发布

阅读量784

点赞数

CC 4.0 BY-SA版权

分类专栏：数据结构和算法

本文链接：https://blog.youkuaiyun.com/u013013553/article/details/78691295

数据结构和算法专栏收录该内容

28 篇文章

订阅专栏

本文介绍了一种基于前缀树（Trie）的高效敏感词过滤算法。该算法通过三个指针遍历输入字符串，利用前缀树快速定位并替换敏感词汇，确保文本安全性。文章详细解释了算法流程，并提供了实现代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这种方法，是从牛客网上看到的。

需要实现功能：　如果有字符串为xwabfabcff,敏感词为abc、bf、bc、m，若这个字符串中包含敏感词，则使用***代替敏感词，实现一个算法。

查找步骤：

算法如下：

1. 使用三个指针，指针1指向根节点，指针2指向字符串下标起始值，指针3指向字符串当前下标值。指针1为tempnode=rootnode，指针2为begin=0，指针3为position=0，创建sb来保存结果；

2. 遍历x，tempnode未找到子节点x，将x报存到sb中，begin=begin+1;position=begin，tempnode=rootnode;

遍历w，tempnode未找到子节点w，将w报存到sb中，begin=begin+1;position=begin，tempnode=rootnode;

遍历a，tempnode找到子节点a，tempnode指向a节点，则position++；

遍历b，tempnode发现a节点下有b这个子节点，所以，tempnode指向b节点，则position++；

遍历f，tempnode发现b节点下没有f这个子节点，所以，代表以begin开头的字符串，不会有敏感字符，因此，将a存入sb中。position=begin+1;bigin=position;tempnode=rootnode

遍历a，tempnode找到子节点a，tempnode指向a节点，则position++；

遍历b，tempnode发现a节点下有b这个子节点，所以，tempnode指向b节点，则position++；

遍历c，tempnode发现b节点下有c这个子节点，而且c值敏感词结尾标记，所以，打码。将***写入sb中，同时，begin=position+1;position=begin;tempnode=rootnode;

遍历f，tempnode发现根节点下没有f这个节点，因此，将f存入sb中。position=begin+1;bigin=position;tempnode=rootnode；

代码如下，帮助理解：

    /**
     * 过滤敏感词
     */
    public String filter(String text) {
        if (StringUtils.isBlank(text)) {
            return text;
        }
        String replacement = DEFAULT_REPLACEMENT;
        StringBuilder result = new StringBuilder();

        TrieNode tempNode = rootNode;
        int begin = 0; // 回滚数
        int position = 0; // 当前比较的位置

        while (position < text.length()) {
            char c = text.charAt(position);
            // 空格直接跳过
            if (isSymbol(c)) {
                if (tempNode == rootNode) {
                    result.append(c);
                    ++begin;
                }
                ++position;
                continue;
            }

            tempNode = tempNode.getSubNode(c);

            // 当前位置的匹配结束
            if (tempNode == null) {
                // 以begin开始的字符串不存在敏感词
                result.append(text.charAt(begin));
                // 跳到下一个字符开始测试
                position = begin + 1;
                begin = position;
                // 回到树初始节点
                tempNode = rootNode;
            } else if (tempNode.isKeywordEnd()) {
                // 发现敏感词， 从begin到position的位置用replacement替换掉
                result.append(replacement);
                position = position + 1;
                begin = position;
                tempNode = rootNode;
            } else {
                ++position;
            }
        }

        result.append(text.substring(begin));

        return result.toString();
    }

完整的敏感词过滤代码，地址如下：点击打开链接　https://github.com/heimohe/Algorithm/blob/master/%E6%95%8F%E6%84%9F%E8%AF%8D%E8%BF%87%E6%BB%A4