Java实现敏感词过滤 - IKAnalyzer中文分词工具

最新推荐文章于 2025-07-12 13:40:31 发布

原创

最新推荐文章于 2025-07-12 13:40:31 发布 · 1.2w 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#java #java敏感词 #java敏感词过滤

IKAnalyzer是一个开源的Java中文分词工具，可用于敏感词过滤。然而，由于分词不理想，例如将'发呆着'分为'发'和'呆着'，导致敏感词'发呆'过滤不完整。因此，推荐使用DFA算法实现更高效的敏感词过滤。

IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。

官网： https://code.google.com/archive/p/ik-analyzer/

本用例借助 IKAnalyzer 进行分词，通过遍历分词集合进行敏感词过滤。

使用前需对敏感词库进行初始化： SensitiveWordUtil.init(sensitiveWordSet);

1、pom.xml 引入maven依赖

<!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
<dependency>
    <groupId>com.janeluo</groupId>
    <artifactId>ikanalyzer</artifactId>
    <version>2012_u6</version>
</dependency>

2、工具类

package cn.swfilter.util;

import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

import java.io.IOException;
import java.io.StringReader;
import java.util.*;

/**
 * 敏感词处理工具 - IKAnalyzer中文分词工具 - 借助分词进行敏感词过滤
 *
 * @author sam
 * @since 2017/9/4
 */
public class SensitiveWordUtil2 {
   
   

    /**
     * 敏感词集合
     */
    public static HashMap sensitiveWordMap;

    /**
     *